В недавнем тестировании Jev была протестирована в качестве реранкера для классификации товаров по обширному справочнику, содержащему 78 тысяч кодов. Реранк представляет собой критически важный этап в процессе классификации, где из 30 кандидатов выбирается один, что делает его наиболее затратным по ресурсам. Использование модели, которая не генерирует текст, но возвращает вероятности, может значительно оптимизировать этот процесс.
В ходе эксперимента Jev сравнивался с несколькими крупными языковыми моделями, включая gpt-oss-120b и Gemini. Тестирование проводилось на 928 позициях технических спецификаций госзакупок, что позволяет получить представление о производительности различных моделей в реальных условиях. Результаты показали, что Jev может эффективно выполнять задачи реранкинга, что открывает новые возможности для его применения в области классификации.
Значимость данного тестирования заключается в том, что оно демонстрирует потенциал использования специализированных моделей для оптимизации сложных процессов классификации. Это может привести к улучшению качества и скорости обработки данных в различных сферах, включая госзакупки и коммерческие приложения, что, в свою очередь, может повысить эффективность и снизить затраты на такие операции.