К концу октября 125-миллиардную MoE-модель можно запускать на видеокарте RTX 5070. По данным материала, модель на 321 млрд параметров работает на одной RTX 3090 с 64 ГБ оперативной памяти.
В сентябре запуск 125-миллиардной модели на домашнем компьютере описывался как задача, доступная преимущественно владельцам серверных систем. Статья разбирает технический подход, позволивший ускорить запуск, и оценивает скорость работы моделей на практике.
Эти примеры показывают, что крупные языковые модели становятся доступнее для локального использования на потребительском оборудовании. Однако в представленном фрагменте не указаны детали метода и результаты измерений скорости.