Компания You.com анонсировала запуск Inference Router, нового управляемого API для запуска открытых моделей в производственной среде. Этот сервис совместим с OpenAI и обеспечивает маршрутизацию запросов через 12 активных моделей, включая GPT-OSS 120B и Kimi K3. Inference Router предлагает минимальное время безотказной работы в 99.9% и полное отсутствие хранения данных.

Сервис работает на базе 100% американского хостинга и включает серверный веб-поиск. Модель имеет систему оплаты по мере использования, без дополнительных платформенных сборов. В ходе тестирования на LiveNewsBench, открытые модели в сочетании с поиском You.com продемонстрировали конкурентоспособные результаты по сравнению с фронтирными моделями, предлагая более низкие затраты на запросы.

Запуск Inference Router имеет значительное значение для разработчиков и компаний, использующих открытые модели, так как он упрощает интеграцию и управление ресурсами. Система позволяет избежать необходимости в управлении GPU, что делает ее более доступной для широкого круга пользователей.