Разработчик представил новую языковую модель, обученную на 360 миллионов параметров, которая способна имитировать работу терминала, включая такие инструменты, как bash, vim и tmux. Модель была дообучена на 336 тысячах записанных сессий, что позволило ей эффективно предсказывать изменения на экране при каждом нажатии клавиши.

Одним из значительных достижений является сокращение задержки p95 на больших кадрах с 6,7 до 0,87 секунды благодаря параллельному декодированию строк на графической карте RTX 4090. Это улучшение позволяет модели быстрее реагировать на команды, что делает её более эффективной для пользователей, работающих с текстовыми интерфейсами.

Данная разработка может иметь важное значение для программистов и разработчиков, так как она предоставляет возможность взаимодействовать с языковой моделью в реальном времени, что может повысить продуктивность работы. Улучшение задержки также открывает новые перспективы для применения подобных технологий в различных областях, связанных с обработкой текста и программированием.