Команда Linkup Research представила SPARSEUP, открытую модель для разреженных встраиваний, основанную на 149 миллионах параметров ModernBERT. Модель достигла среднего значения nDCG@10 в 56.4 на наборе данных BEIR-13, что делает её одной из самых сильных публичных разреженных энкодеров с количеством параметров менее 150 миллионов.
SPARSEUP отличается от большинства современных моделей, использующих плотные встраивания, так как она генерирует веса по словарю, что позволяет лучше обрабатывать редкие слова. Модель доступна для загрузки на платформе Hugging Face и может быть интегрирована через Transformers или Sentence Transformers с использованием параметра trust_remote_code=True.
Выпуск SPARSEUP стал ответом на недавние разработки в области плотных моделей, таких как DenseOn и LateOn от LightOn. Новая модель заполняет пробел в области разреженных встраиваний и предлагает исследователям и разработчикам инструменты для более эффективной работы с текстовыми данными.