Университет Цинхуа и Китайский университет Гонконга открыли исходный код AKV — системы обслуживания и набора политик для работы с KV-кэшем в LLM-агентах. Вместо суммаризации истории агент удаляет отдельные записи кэша и продолжает использовать оставшиеся. Проект распространяется по лицензии Apache-2.0 и построен на базе SGLang.

AKV тестировали на GPT-OSS-120B, MiniMax-M2.7 и MiroThinker-1.7-Mini в четырёх агентных бенчмарках. В наиболее успешном примере — GPT-OSS-120B на SWE-bench Verified — стоимость выполнения задачи снизилась с 20 до 9,7 цента, а результат вырос с 40,0 до 43,2 балла. На BrowseComp-Plus модель MiniMax-M2.7 с AKV набрала 58,9 балла против 62,3 у метода Text Engineering.

Система предназначена для запуска на графических процессорах NVIDIA через SGLang; в исследовании использовали восемь ускорителей A800 с 80 ГБ памяти. Результаты показывают, что управление кэшем может снизить вычислительные затраты агентных систем, хотя эффект различается в зависимости от модели и теста.