FreeToken — это движок, который позволяет запускать модели с 753 миллиардами параметров на одной рабочей станции с GPU. Исследователи утверждают, что основной проблемой не является недостаток аппаратного обеспечения, а отсутствие системы обслуживания, которая могла бы эффективно использовать доступные ресурсы. FreeToken рассматривает личные машины как единый и эластичный платформенный инструмент для вывода, что значительно упрощает доступ к мощным моделям.
С помощью FreeToken пользователи могут запускать модели, такие как Kimi-K3 и GLM-5.2, на обычных ноутбуках с 8 ГБ видеопамяти, достигая интерактивной скорости обработки. Это решение может стать важным шагом к уменьшению разрыва в доступности мощных инструментов ИИ для индивидуальных разработчиков и малых команд, которые часто сталкиваются с высокими затратами на инфраструктуру.
Разработка FreeToken может изменить подход к использованию ИИ в различных приложениях, предоставляя возможность более широкому кругу пользователей работать с передовыми моделями. Это также может способствовать ускорению инноваций в области ИИ, так как большее количество разработчиков получит доступ к мощным инструментам без необходимости инвестировать в дорогостоящее оборудование.