TokenGate
Последние новости и упоминания на vestka
- Исследователи Stanford и UC Berkeley представили TokenGate, ускоряющий обработку длинного контекста до 11,3 раза
ИИ·MarkTechPost·
Исследователи из Stanford и UC Berkeley представили TokenGate — модуль, который выборочно обрабатывает токены при предварительной обработке длинного контекста. По данным команды, он ускоряет время до первого токена в 1,4–11,3 раза без потери точности, а пиковое потребление памяти снижает в 1,5–3,4 раза.