Исследователи из Sakana AI представили новый подход к обучению глубоких нейронных сетей, известный как Augmented Lagrangian Predictive Coding (PC-ALM). Этот метод позволяет обучать сети с 1000 слоями, сохраняя локальность обновлений, что отличает его от традиционного алгоритма backpropagation, основанного на глобальных фазах. В ходе тестирования на наборе данных MNIST метод показал результаты, близкие к backpropagation, с отклонением всего в 2 процентных пункта.
PC-ALM представляет собой вариант предсказательного кодирования, который привлекает внимание исследователей благодаря своей способности обрабатывать глубокие и узкие сети. В отличие от стандартного предсказательного кодирования, который рассматривает каждую скрытую активацию как переменную оптимизации, PC-ALM позволяет обновлениям оставаться локальными для каждого слоя. Это делает метод потенциально более эффективным для глубоких архитектур, где традиционные подходы могут сталкиваться с трудностями.
Разработка PC-ALM является значительным шагом в области обучения глубоких нейросетей, особенно для задач, требующих работы с большими архитектурами. Хотя метод был протестирован только на небольших наборах данных, его реализация доступна в виде открытого кода с лицензией MIT, что позволяет исследователям и разработчикам использовать его для дальнейших экспериментов и внедрения в практические приложения.