В исследовании было проведено сравнение модели Jev и обычных языковых моделей (LLM) по трем задачам: определение спама, выбор категории комментария и оценка негатива. Оценивались качество ответов, скорость обработки и стоимость выполнения задач на русском и английском языках.
Кроме того, исследование также включало анализ способности моделей распознавать повторные вопросы в длинной истории комментариев. Это важный аспект, так как многие пользователи могут задавать схожие вопросы в разных контекстах, и способность модели правильно интерпретировать их имеет большое значение для повышения качества взаимодействия.
Результаты данного сравнения могут оказать влияние на выбор моделей для различных приложений, связанных с обработкой естественного языка. Понимание различий в производительности и стоимости между Jev и традиционными LLM поможет разработчикам и компаниям оптимизировать свои решения в области искусственного интеллекта.