Amazon SageMaker анонсировал новый метод оптимизации обработки запросов для больших языковых моделей (LLM), который включает использование маршрутизации с учетом префиксов. В этом подходе фиксированная часть запроса, содержащая инструкции и контекст, кэшируется, что позволяет повторно использовать уже вычисленные данные при последующих запросах. Это особенно полезно для приложений, таких как чат-боты, где одно и то же начало запроса может повторяться множество раз.
В традиционных системах обработки запросов каждая новая итерация требует повторного вычисления всей информации, что увеличивает время отклика. С помощью новых методов, таких как vLLM и TensorRT-LLM, Amazon SageMaker предлагает решение, которое значительно сокращает задержку, позволяя моделям обрабатывать запросы быстрее и эффективнее. Это достигается за счет хранения ключевых значений (KV) для префиксов запросов, что позволяет модели использовать уже вычисленные результаты.
Данная оптимизация имеет важное значение для разработки приложений, где скорость обработки запросов критична. Уменьшая время отклика, разработчики могут улучшить пользовательский опыт и повысить эффективность своих приложений. Это также открывает новые возможности для использования LLM в реальном времени, что может привести к более широкому внедрению технологий искусственного интеллекта в различных сферах.