Astra представила новый подход в разработке своих моделей, внедрив архитектурный прием, известный как рекуррентная глубина или looped transformer. Вместо однократной обработки входных данных через каждый слой, модель многократно прогоняет представление через одни и те же вычислительные блоки, что позволяет увеличить вычислительную эффективность.
Данный метод имеет два основных преимущества: он позволяет создавать меньшие по размеру модели, которые способны выполнять больше вычислений, и обеспечивает более глубокую обработку данных. Это может привести к улучшению качества генерации текста и повышению общей производительности модели.
Внедрение рекуррентной глубины может оказать значительное влияние на развитие технологий обработки естественного языка. Увеличение вычислительной мощности при меньших затратах на параметры открывает новые возможности для создания более сложных и эффективных моделей, что может изменить рынок AI в ближайшие годы.