Исследователи проверили девять универсальных мультимодальных ИИ-моделей, предоставив им прямое управление двумя руками реального робота. В эксперименте системы складывали миски, сортировали предметы и пытались надеть колпачок на ручку.
В работе «The Bitter Lesson Comes to Robotics» авторы сравнили результаты моделей на робототехническом бенчмарке. Результативность лучших новых конфигураций на нём удваивалась примерно каждые 53,9 дня.
При этом рост показателя не означал, что роботы стабильно справлялись с задачами: полностью завершать задания моделям по-прежнему удавалось редко. Результаты показывают быстрое улучшение измеряемой производительности, но также указывают на сохраняющийся разрыв между ней и надёжным выполнением действий в реальных условиях.