Компания Liquid AI представила LFM2.5-VL-3B-DSpark, экспериментальную модель, использующую спекулятивное декодирование для улучшения работы с визуально-языковыми моделями. Эта новая версия добавляет около 280 миллионов параметров и позволяет увеличить скорость декодирования без изменения выходных данных модели, достигая до 3.13 раза быстрее на Apple silicon и до 2.66 раза на NVIDIA H100.
Спекулятивное декодирование представляет собой метод, при котором небольшая драфт-модель предлагает несколько токенов вперед, а основная модель проверяет их за один проход. Это позволяет значительно ускорить процесс генерации текста, что является важным для приложений, требующих высокой скорости обработки данных.
Выход LFM2.5-VL-3B-DSpark имеет значение для разработчиков, так как модель доступна на платформе Hugging Face и совместима с несколькими инструментами, такими как SGLang и MLX-VLM. Экспериментальный характер релиза и лицензия LFM Open License v1.0 позволяют использовать модель в коммерческих целях для компаний с годовым доходом до 10 миллионов долларов, что может способствовать ее широкому распространению в малом бизнесе.