Авторы статьи рассказали о способе локального запуска модели Kimi K3 на оборудовании Cerebras. Для размещения модели они распределяют её между несколькими чипами WSE-3T; заявленная скорость генерации составляет 1000–2000 токенов в секунду.
На одном WSE-3T установлено 44 ГБ встроенной памяти, тогда как веса передовых моделей с триллионами параметров требуют терабайтов. В материале описывается подход к распределению модели между несколькими пластинами, однако представленный фрагмент не содержит подробностей реализации или результатов независимого тестирования.
Публикация посвящена инфраструктуре для локального запуска крупных ИИ-моделей и демонстрирует один из способов преодолеть ограничения памяти отдельного ускорителя. Указанные показатели приведены авторами материала.