OpenAI представила новую модель GPT-6 Astra, которая отличается от предыдущих версий тем, что использует рекуррентный подход к генерации текста. Вместо того чтобы проходить через слои модели за один раз, как это делалось ранее, GPT-6 Astra генерирует слова, проходя несколько кругов по одному и тому же блоку, что позволяет улучшить качество и связность текста.
Идея использования рекуррентности в трансформерах не нова, она была предложена еще в 2018 году, но была вытеснена более простыми методами. Возвращение к этой концепции в GPT-6 Astra может свидетельствовать о том, что разработчики стремятся улучшить понимание контекста и логики в текстах, создаваемых моделью.
Данная новинка может оказать значительное влияние на область искусственного интеллекта и генерации текста, так как улучшение качества текстов может привести к более широкому применению таких моделей в различных сферах, включая образование, бизнес и творчество. Это также может открыть новые возможности для исследований в области обработки естественного языка.