Команда GigaChain поделилась опытом настройки обвязки (harness) для модели GigaChat, предназначенной для Deep Agents. В процессе работы они внесли изменения в промпты и описания инструментов, а также интегрировали часть правил непосредственно в код. Это позволило создать открытый бенчмарк harness-bench-fast для измерения прогресса.
На тестовом наборе из 391 задачи подключение профиля GigaChat привело к увеличению доли решённых задач с 77,2% до 87,0%. Кроме того, команда отметила, что расход токенов сократился почти вдвое, что является значительным достижением для повышения эффективности модели.
Эти результаты подчеркивают важность итеративного подхода в разработке ИИ-моделей и могут стать основой для дальнейших исследований и улучшений в области обработки естественного языка. Открытый бенчмарк также может быть полезен другим исследователям и разработчикам, стремящимся оптимизировать свои модели.