JEPA-Anything представляет собой универсальную платформу для создания мировых моделей, разработанную исследователями из PhAI Labs, CUHK, Фудань, Стэнфорда, Оксфорда и Принстона. Вместо того чтобы разрабатывать отдельные предсказательные модели для каждой области, эта модель использует один общий подход, который охватывает такие сферы, как зрение, биология, клинические траектории, управление, молекулярная динамика, физические поля и погода.
Модель расширяет архитектуры совместного встраивания предсказаний (JEPA) с помощью метода, называемого ортогональной предсказательной факторизацией (OPF). Это решение направлено на устранение проблемы распределения емкости, когда высоковариативные структуры доминируют, а более слабые режимы получают конфликтующие градиенты. OPF разделяет латентную цель на несколько изучаемых подмодулей, что позволяет более эффективно управлять процессом обучения.
Разработка JEPA-Anything имеет значительное значение для научного сообщества и практического применения, так как позволяет использовать единый подход к обучению в различных областях, сокращая время и ресурсы, необходимые для создания специализированных моделей. Это может привести к новым достижениям в междисциплинарных исследованиях и улучшению прогнозирования в разных сферах.