В исследовании рассматривается эффективность двух платформ — PyTorch MPS и Apple MLX — для дообучения больших языковых моделей (LLM) на Mac с 16 ГБ оперативной памяти. Apple MLX, разработанный для оптимизации работы с моделями на Apple Silicon, демонстрирует возможность запуска моделей вдвое большего размера, хотя и с меньшей скоростью по сравнению с PyTorch MPS.

Анализ основан на 10 запусках Qwen 2.5 с различными размерами моделей и длиной контекста. Результаты показывают, что, несмотря на ограничения по памяти у PyTorch MPS, его скорость работы в некоторых случаях значительно превышает Apple MLX. Это создает дилемму для разработчиков, выбирающих между производительностью и размером модели.

Данное исследование имеет важное значение для разработчиков, работающих с LLM на Mac, так как оно предоставляет информацию о том, какую платформу выбрать в зависимости от конкретных задач. Выбор между PyTorch MPS и Apple MLX может существенно повлиять на эффективность работы с моделями и их масштабируемость.