Студенты мастерской по сервисам и платформам ИИ НИУ ВШЭ и VK изучили способы повысить качество моделей с линейным вниманием. В проекте участвовали Павел Алексеев, Александр Рожкин, Андрей Аргаткин, Алексей Павлов и Матвей Каменев.
Линейное внимание позволяет обрабатывать длинные последовательности без квадратичного роста вычислительных затрат. Авторы проекта проверяли, можно ли приблизить качество таких моделей к уровню обычных трансформеров.
Результаты потенциально могут помочь сделать обучение языковых моделей экономичнее. В предоставленном фрагменте не приведены конкретные показатели качества или подробности предложенного метода.