vestka

Создана языковая модель на основе соединений нервной системы мушки

Fly Language Model (FLM) представляет собой публичный чат-бот, который сочетает полное соединение нервной системы мужской мушки с замороженной языковой моделью LiquidAI LFM2.5-1.2B-Instruct. Разработчик модели утверждает, что это первая в мире языковая модель на основе соединений нервной системы, хотя модель не использует это название и заявляет, что контрольная версия без графа мушки демонстрирует чуть лучшие результаты.

Система FLM функционирует как резервуарный компьютер, подключенный к языковой модели. Все 166,700 сохраненных узлов и 25,582,938 направленных связей графа MaleCNS участвуют в работе модели. Граф, основа и случайные входные и выходные проекции фиксированы, а только 278,528 параметров обучаются, что составляет около 0.0238% от общего числа параметров.

Данная разработка может быть развернута локально и лицензирована по MIT, что делает ее доступной для исследователей и разработчиков. Важно отметить, что несмотря на инновационный подход, результаты контрольной версии показывают, что соединения нервной системы не оказывают значительного влияния на производительность модели.

Главное

  • Fly Language Model (FLM) использует полное соединение нервной системы мушки.
  • Контрольная версия без графа мушки показала чуть лучшие результаты.
  • Система включает 166,700 узлов и 25,582,938 связей.
  • Обучается только 278,528 параметров, что составляет 0.0238% от общего числа параметров.

Упомянуто

Персоны

Важное из дайджеста

Открыть полный дайджест →