Компания DeepSeek объявила об открытии исходного кода DeepInfer, фреймворка для инференса, который используется в её сервисах. DeepInfer поддерживает модель DeepSeek-V4.1-Flash и доступен под лицензией Apache 2.0. Также была выпущена библиотека deepseek-recipe для кодирования и декодирования токенов, лицензированная под MIT.
Фреймворк DeepInfer демонстрирует высокую производительность, обеспечивая пропускную способность на уровне 155 триллионов токенов в день с использованием одного кластера. Для работы требуется оборудование NVIDIA SM100 и Huawei Ascend 950 NPUs, а в тестах использовалось 4 GPU для предзагрузки и 64 для декодирования. Модель поддерживает контекстное окно в 1 миллион токенов.
Открытие кода DeepInfer предоставляет разработчикам уникальную возможность ознакомиться с реальной инфраструктурой, используемой в передовых лабораториях. Это может способствовать развитию новых приложений и улучшению существующих технологий в области искусственного интеллекта.