В учебном пособии представлена методология создания потоковой обучающей системы для робототехники, использующей набор данных NVIDIA Cosmos3-DROID объемом 707 ГБ. Авторы подробно описывают структуру LeRobotDataset v3.0 и процесс построения графа метаданных, включая анализ статистики и метаданных задач.
Ключевым этапом является использование HTTP-доступа к байтовым диапазонам для выборочного чтения групп и столбцов Parquet. Это позволяет конвертировать отдельные эпизоды в траектории состояния-действия и анализировать различные аспекты движения робота, включая частоту действий и пути конечного эффектора.
Значимость данного подхода заключается в возможности нормализации наблюдений и действий с использованием статистики набора данных, а также в создании многомодальной политики клонирования поведения. Это может существенно улучшить эффективность обучения роботов и расширить возможности их применения в различных задачах.