vLLM, открытый движок для инференса больших языковых моделей, представил новую технологию передачи ключевых значений (KV) для повышения эффективности работы системы. В процессе инференса LLM выделяются две фазы: предварительная обработка (prefill) и декодирование (decode). Разделение этих фаз на разные экземпляры позволяет оптимизировать каждую из них отдельно, что в свою очередь улучшает использование ресурсов и снижает задержки при нагрузке.

Ключевым аспектом этой технологии является эффективная передача KV-данных между экземплярами, что критично для времени до первого токена (TTFT). vLLM использует соединитель NVIDIA Inference Xfer Library (NIXL), который перемещает блоки KV через соединения, поддерживающие Remote Direct Memory Access (RDMA), такие как AWS Elastic Fabric Adapter. Это позволяет значительно ускорить процесс генерации токенов, что особенно важно в условиях высокой нагрузки.

Внедрение этой технологии может привести к значительным улучшениям в производительности систем, использующих LLM, что открывает новые возможности для применения в различных областях, включая обработку естественного языка и автоматизацию бизнес-процессов. Увеличение пропускной способности и уменьшение задержек могут сделать такие системы более привлекательными для разработчиков и конечных пользователей.