На этой неделе Meta AI представила MetaRoCE, новый протокол RDMA, который предназначен для работы с AI-нагрузками на стандартном Ethernet. Протокол решает проблему сетевой передачи данных, которая стала критически важной при обучении и обслуживании фронтирных моделей. MetaRoCE отклоняется от традиционных ожиданий RoCE, которые требуют доставки каждого пакета в порядке, и вместо этого рассматривает сеть как подверженную потерям, что позволяет улучшить производительность в больших масштабах.
Дизайн MetaRoCE акцентирует внимание на таких аспектах, как выбор пути и восстановление, которые теперь реализуются на сетевых интерфейсных картах (NIC). Это нововведение может значительно уменьшить сетевую задержку и повысить общую производительность вычислительных мощностей, что особенно важно для задач, требующих синхронизации нескольких ускорителей во время обучения.
Запуск MetaRoCE может изменить подход к сетевым решениям в области искусственного интеллекта, особенно в контексте масштабирования вычислительных ресурсов. Meta также предоставляет спецификацию, программную реализацию и тестовый набор для соблюдения стандартов через Open Compute Project, что может способствовать более широкому принятию и интеграции нового протокола в индустрии.