В новой работе, опубликованной на arXiv, исследователи представили метод Zero-WAM, который позволяет роботам обучаться новым задачам, просто просматривая видео с действиями человека. Вместо традиционного подхода, требующего написания инструкций или сбора демонстраций, система анализирует, как развиваются сцены на видео, и использует это как контекст для своих действий.
Авторы исследования собрали набор данных из 74,2 тысяч видео, что позволяет модели эффективно обучаться различным действиям без необходимости в дополнительном обучении. Это может значительно ускорить процесс интеграции новых задач в работу роботов и снизить затраты на их обучение.
Значимость данного исследования заключается в том, что оно открывает новые горизонты для применения робототехники в различных сферах, таких как производство, медицина и сервисные услуги. Возможность обучать роботов на основе видео может привести к более интуитивному взаимодействию между людьми и машинами.