Google Cloud представила llm-d 1.0, первую стабильную версию своего распределенного стека для инференса, на конференции PyTorch North America. Этот открытый, облачный слой, совместимый с Kubernetes, объединяет серверы моделей vLLM и SGLang в единую координированную систему, что особенно полезно для самохостингованных агентов и задач обучения с подкреплением.

Новая версия llm-d 1.0 использует кэш-осведомленную маршрутизацию, что позволяет значительно улучшить производительность. По данным Google, медианное время обработки задач сократилось более чем на 85%, а пропускная способность увеличилась в 2.4 раза на рабочей нагрузке Ironwood TPU. Тем не менее, время среза для задач обучения с подкреплением оставляет около 30% неиспользуемого времени для ускорителей.

Появление llm-d 1.0 имеет важное значение для разработчиков, работающих с распределенными системами, так как оно предлагает значительные улучшения в производительности и управлении ресурсами. Это решение, основанное на сотрудничестве таких компаний, как Red Hat, IBM и NVIDIA, открывает новые возможности для оптимизации работы с моделями машинного обучения.