Полгода назад был запущен проект по созданию винного бенчмарка OenoBench, целью которого стало измерение знаний языковых моделей о вине. В бенчмарке содержится 3 266 вопросов с вариантами ответов и 38 104 факта, собранных из открытых источников, что позволяет оценить качество ответов моделей. В процессе разработки активно использовались языковые модели, такие как Claude Code, а также десять агентов для аудита и проверки вопросов.
В проекте было задействовано 17 скраперов, которые обеспечили сбор данных, однако лишь 35 из них стали «гарантированным fallback». Это подчеркивает важность выбора надежных источников информации и моделей для достижения точных результатов. Общая стоимость использования API составила около $800, что отражает затраты на ресурсы в процессе реализации данного проекта.
Создание OenoBench имеет значительное значение для оценки и улучшения качества языковых моделей в области специфических знаний, таких как вино. Это может способствовать дальнейшему развитию и улучшению моделей, а также их применению в других специализированных областях, что открывает новые горизонты для их использования в будущем.