PyTorch North America
Последние новости и упоминания на vestka
- Google представила llm-d 1.0 с кэш-осведомленной маршрутизацией для TPU и GPU
ИИ·MarkTechPost·
Google Cloud анонсировала стабильную версию llm-d 1.0, первого распределенного стека для инференса. Новый продукт, представленный на конференции PyTorch North America, оптимизирует работу с моделями vLLM и SGLang, обеспечивая улучшенную производительность.