В проекте Roboharm три нейросети, включая GPT-6 Astra, Claude Fable 5.1 и MolmoAct2, были задействованы для управления роборукой. Исследователи из Robocurve провели эксперимент, в котором ИИ давали команды, включающие выполнение опасных для жизни человека действий, таких как использование ножа на кукле-младенце и нагрев баллона со сжатым газом.
Цель эксперимента заключалась в оценке способности нейросетей отказываться от выполнения небезопасных команд. Кроме того, исследователи проверяли, как модели реагируют на ситуации, которые могут привести к потенциальным травмам или опасности.
Значимость данного эксперимента заключается в его потенциальном влиянии на разработку безопасных ИИ-систем. Результаты могут помочь в создании более надежных алгоритмов, которые будут учитывать этические аспекты и безопасность при взаимодействии с физическим миром.