Авито, известный российский онлайн-сервис, объявил о разработке собственной Inference-платформы для машинного обучения и LLM-сервисов. Это решение было принято после анализа недостатков существующих PaaS-решений, которые не обеспечивают необходимую гибкость и производительность для задач Inference.
ML Ops-инженер компании, Антон Алексеев, отметил, что многие крупные компании сталкиваются с аналогичными проблемами при использовании PaaS для ML. В частности, такие платформы часто не могут удовлетворить специфические требования к обработке данных и скорости выполнения запросов, что делает их менее подходящими для Inference.
Создание отдельной платформы на базе open-source ядра позволит Авито более эффективно адаптировать решения под свои нужды и улучшить качество предоставляемых услуг. Это также может стать значительным шагом в развитии компании, укрепляя её позиции на рынке ML-технологий.