Автор статьи рассказывает об исследовании, в котором он подсвечивал нейроны небольшой модели искусственного интеллекта, чтобы разобраться, когда та выдает неверную информацию. По его словам, уверенный тон языковой модели не позволяет определить, ошибается ли она или намеренно искажает факты.
В тексте приводятся два примера. В 2023 году адвокат из Нью-Йорка подал в суд ссылки на судебные прецеденты, которые предложил ChatGPT, однако судья не обнаружил таких дел. Годом позже Air Canada проиграла спор с пассажиром после того, как чат-бот авиакомпании сообщил ему о возврате денег по правилу, которого не существовало.
Статья посвящена проблеме достоверности ответов ИИ и поиску способов выявлять ошибки не только по итоговому тексту, но и по внутренним процессам модели. Описанные случаи показывают, что неточности чат-ботов могут иметь последствия в юридических и коммерческих ситуациях.