Torchtitan представил новые возможности для обучения модели Qwen3 на AWS Trainium, используя три различных метода. Первый метод использует Transformers v5 в качестве бэкенда моделирования, позволяя запускать Hub модели через AutoModelForCausalLM и работать с опубликованными safetensors. Второй метод переключается на родной Qwen3, изменяя конфигурацию model_spec, а третий метод добавляет смесь экспертов (MoE) через интерфейс Neuron Kernel Interface (NKI).

Все три метода используют одинаковую структуру конфигурации и шаблон запуска torchrun, что упрощает процесс обучения. Пользователи могут настраивать реализацию модели и ядра в зависимости от своих задач, что открывает новые горизонты для оптимизации производительности. Torchtitan регистрирует Trainium как нативное устройство PyTorch, что позволяет интегрировать его в привычные рабочие процессы.

Эти обновления подчеркивают растущую значимость AWS Trainium для обучения моделей глубокого обучения, предлагая разработчикам гибкость в выборе методов и конфигураций. Возможность тонкой настройки и использования различных подходов делает обучение более эффективным и адаптивным к требованиям пользователей.