Исследователи из Stanford и UC Berkeley представили TokenGate — модуль для ускорения обработки длинных запросов языковыми моделями. Он использует обучаемый механизм отбора токенов: модель полностью обрабатывает только выбранные фрагменты входных данных. Авторы сообщают об ускорении времени до первого токена в 1,4–11,3 раза без потери точности.

TokenGate добавляет к предварительно обученной модели небольшой MLP-механизм и LoRA с рангом 16. В тестах использовались Qwen3-1.7B и Qwen3.5-2B с контекстами до 128 тыс. токенов. На задаче NIAH с контекстом 16 тыс. токенов ускорение достигло 11,3 раза, а пиковое потребление памяти оказалось в 3,42 раза ниже; на отдельных задачах ускорение составляло 1,4 раза.

По данным исследователей, при контексте 128 тыс. токенов ускорение времени до первого токена достигало 13 раз. Замеры проводились на одной A100 при размере пакета 1, обучение — на четырёх A100. Код и контрольные точки опубликованы на GitHub по лицензии Apache-2.0.