Группа ученых из Университета Цинхуа провела исследование, в ходе которого была выявлена причина, по которой большие языковые модели (LLM) иногда выдают неверные факты. Они обнаружили, что всего 0.1% нейронов в этих моделях вызывают так называемые 'галлюцинации', когда нейросеть с уверенностью генерирует ложную информацию.
Ранее многие специалисты считали, что причиной таких ошибок являются плохие данные, недостатки в алгоритмах обучения с подкреплением или ошибки в декодировании. Однако новое исследование показало, что конкретные нейроны, отвечающие за генерацию неверных утверждений, могут быть изолированы и проанализированы для улучшения качества моделей.
Это открытие имеет значительное значение для дальнейшего развития технологий искусственного интеллекта. Понимание механизмов, приводящих к ошибкам, позволит разработчикам более эффективно обучать модели и минимизировать вероятность появления ложной информации, что особенно важно в контексте их применения в образовательных и научных целях.