Компания i14 представила свою новую модель Laplace 3B, которая использует линейное внимание и была обучена на платформе AWS Trainium2 с поддержкой нативного PyTorch. Эта модель предназначена для решения проблем, связанных с увеличением кэша ключей и значительными затратами на обслуживание, которые возникают у традиционных архитектур трансформеров при работе с длинными контекстами.

Laplace 3B сохраняет размер своего рекуррентного состояния на уровне 29.5 МБ на последовательность, независимо от длины контекста. При использовании одного экземпляра trn2.48xlarge модель демонстрирует скорость обучения около 120,000 токенов в секунду, а также может выдавать 11,544 токена в секунду при 1,280 параллельных последовательностях, что делает её эффективной для масштабируемых приложений.

Разработка данной модели подчеркивает усилия i14 в области оптимизации архитектур ИИ и улучшения их производительности на облачных платформах. Это может значительно снизить затраты на обслуживание и повысить эффективность работы с большими языковыми моделями, что важно для дальнейшего развития технологий ИИ в различных сферах.