Sakana AI опубликовала исследование под названием "Beyond Imitation", в котором рассматривается система рецензирования на основе больших языковых моделей (LLM), сосредоточенная на обнаружении ошибок. В отличие от традиционных ИИ-рецензентов, которые оцениваются по степени копирования человеческих рецензий, эта работа ставит более сложный вопрос: может ли ИИ найти преднамеренные ошибки? В рамках исследования были разработаны два инструмента: Бенчмарк противоречий и система многоуровневого рецензирования (MLR).

Система MLR способна обрабатывать до 10 страниц основного текста и использует доступные API модели, такие как Claude Sonnet 4 и Claude Haiku 3.5. При этом она не требует использования GPU и дополнительной настройки, что делает её доступной для разработчиков. Стоимость одного рецензирования составляет около 0,47 доллара. В ходе тестирования система показала наивысшую эффективность среди всех протестированных, обнаружив 73,43% основных ошибок при четырех рецензиях.

Эти результаты подчеркивают важность внедрения ИИ в процессы научного рецензирования, что может значительно повысить качество и надежность научных публикаций. Система Sakana AI демонстрирует, что современные технологии способны не только имитировать человеческие оценки, но и выявлять ошибки, что является важным шагом в развитии автоматизированных инструментов для научного сообщества.