Ученые из Канады, Сингапура и США сравнили 15 больших языковых моделей по способности находить методологические ошибки в научных статьях о клинических исследованиях. Показатели моделей составили от 53% до 99%, а у людей — около 27%. Результаты опубликованы на портале препринтов medRxiv.

Наибольшую долю серьезных ошибок обнаружила модель Opus 5.5 — 99%. В материале не уточняется, как именно отбирались статьи и участники-люди для сравнения.

Результаты указывают на потенциальную пользу языковых моделей при проверке научных публикаций. Однако исследование размещено в виде препринта, поэтому приведенные выводы следует рассматривать с учетом того, что в тексте не сообщается о рецензировании.