Prime Intellect выпустила Prime Mega MoE — обучаемое расширение объединённого ядра Mega MoE от DeepSeek. В отличие от исходного ядра, работавшего только на прямом проходе, новая версия включает быстрый обратный проход с перекрытием операций. Это позволяет использовать ядро при обучении, а не только при инференсе.

В тестах на моделях Qwen3-30B-A3B и Qwen3-235B-A22B полные шаги обучения в тренере prime-rl ускорились на 32–34% относительно базовой версии. По сравнению с TorchTitan прирост составил 48–55%. Максимальное ускорение прямого прохода на слое Qwen3-30B-A3B достигло 3,11 раза: время сократилось с 12 до 3,9 мс.

Проверки проводились на конфигурациях с 32–128 GPU в узлах с восемью H200; ядро также поддерживает GPU Blackwell. Компания позиционирует разработку как способ сократить время использования GPU при обучении моделей со смесью экспертов (MoE).