Keenable AI представила NEEDLE, новый открытый бенчмарк для оценки веб-поисковых API. Этот инструмент решает проблему, когда тестируемый агент может получить доступ к правильным ответам, что искажает результаты тестирования. NEEDLE обновляет набор запросов каждый час, используя свежие данные из публичных источников, таких как RSS-каналы и Google Trends.
Запросы по финансам, науке, праву и редким сущностям обновляются ежедневно из таких источников, как SEC XBRL и arXiv. Пятнадцать поисковых API тестируются с использованием одного и того же текста запросов, а результаты сравниваются с данными из объединенного оракла, который фиксирует, что удалось найти всем участникам. Это позволяет обеспечить высокую степень воспроизводимости результатов.
Запуск NEEDLE важен для разработчиков и исследователей, поскольку он предоставляет надежный способ оценки производительности поисковых систем в реальном времени. Открытость бенчмарка способствует развитию сообщества и улучшению качества веб-поиска, что может привести к более точным и полезным результатам для пользователей.