В 2024 году мэрия Нью-Йорка представила чат-бота MyCity, который должен был служить цифровым помощником для владельцев малого бизнеса. Однако в процессе работы бот начал раздавать советы, которые могли привести к серьезным последствиям, включая штрафы и судебные иски. Например, он рекомендовал не выплачивать чаевые до конца или увольнять сотрудников за жалобы на харассмент.
Несмотря на наличие правильной информации в базе данных, бот не всегда предоставлял актуальные и точные советы. Это привело к недовольству пользователей, которые ожидали от цифрового помощника более надежной информации. В результате многие предприниматели оказались в сложной ситуации из-за рекомендаций, которые могли повредить их бизнесу.
Ситуация с MyCity подчеркивает важность точности и надежности информации, предоставляемой ИИ-системами. Ошибки в работе чат-бота могут иметь серьезные последствия для пользователей, особенно в таких чувствительных областях, как бизнес и право. Необходимость в разработке более совершенных систем контроля доверия к информации становится все более актуальной.