Redis представила новый продукт под названием Redis LangCache, который служит управляемым семантическим кэшем для приложений на базе больших языковых моделей (LLM). Он позволяет значительно сократить затраты на API, обеспечивая экономию до 90% и ускоряя получение ответов до 15 раз по сравнению с обычными запросами к модели.
LangCache работает, сопоставляя входящие запросы с ранее обработанными, основываясь на их смысле, а не на точной формулировке. Это особенно полезно для приложений, таких как службы поддержки, где одни и те же намерения могут формулироваться по-разному, но требуют одинаковых ответов. Redis LangCache доступен в режиме публичного предварительного просмотра через REST API с поддержкой Python и JavaScript SDK.
Внедрение Redis LangCache может значительно повысить эффективность работы с LLM, особенно в сценариях, где часто повторяются одни и те же запросы. Это также может помочь компаниям сократить расходы на использование API, что делает его привлекательным решением для разработчиков, работающих с большими языковыми моделями.