В новой версии vLLM представлено улучшение в обработке многоповоротных задач, которое включает двунаправленный перенос ключевых значений (KV). Многоповоротные задачи требуют накопления контекста, что приводит к повторной обработке растущего объема данных с каждым новым запросом. Данная проблема решается путем разделения запросов на специализированные узлы, где узел предзаполнения обрабатывает запрос и создает кеш KV, а узел декодирования использует эти блоки для генерации ответа.

Традиционные методы обработки данных в таких системах осуществляют перенос кеша KV только в одном направлении, что создает неэффективности. В результате узел декодирования удерживает кеш для предыдущих токенов, однако узел предзаполнения не может получить эти данные для следующего поворота, что требует повторных вычислений. Новая архитектура с двунаправленным переносом KV позволяет узлам обмениваться данными, что значительно снижает вычислительные затраты и ускоряет процесс обработки.

Эти усовершенствования в vLLM могут оказать значительное влияние на производительность многоповоротных взаимодействий, что особенно важно для приложений, требующих высокой скорости и точности обработки данных. Оптимизация работы агентов в таких задачах открывает новые возможности для их применения в различных областях, включая поддержку клиентов и автоматизацию процессов.