Компания Pathway анонсировала разработку своей новой архитектуры BDH (Dragon Hatchling) на платформе Amazon SageMaker HyperPod. Эта модель использует мозгоподобный подход, позволяя выполнять reasoning в латентном пространстве, что отличает её от традиционных методов, основанных на последовательной генерации токенов. BDH стремится преодолеть ограничения трансформеров, предлагая архитектуру, основанную на графе нейронов с разреженными локальными взаимодействиями.
Основное преимущество BDH заключается в том, что она может адаптироваться к контексту без необходимости обновления весов в процессе тестирования. Это позволяет модели работать с более длинными контекстами и избегать неэффективной генерации промежуточных токенов, что делает её более эффективной для выполнения сложных задач. Архитектура сохраняет состояние в соединениях, аналогичных синапсам, что способствует более естественному процессу обработки информации.
Разработка BDH имеет значительное значение для будущего искусственного интеллекта, так как она может изменить подход к обучению и применению больших языковых моделей. Улучшение в обработке информации и сокращение вычислительных затрат могут привести к более широкому внедрению ИИ в различных областях, включая бизнес и науку.