На конференции Гари Ильес, представитель Google, отметил, что многие владельцы сайтов ошибочно полагают, что добавление запрета для AI-краулеров в файл robots.txt защищает их контент от использования в обучении искусственного интеллекта. Он подчеркнул, что данный файл управляет только процессом краулинга, а не фактическим использованием контента для обучения моделей.

Ильес указал на то, что в последние два года владельцы сайтов начали массово добавлять в robots.txt запреты для таких ботов, как GPTBot и CCBot, полагая, что это обеспечит защиту их контента. Однако, по его словам, это не является достаточной мерой для предотвращения использования информации в обучении ИИ.

Это заявление имеет значительное значение для владельцев сайтов и разработчиков ИИ, поскольку оно подчеркивает необходимость пересмотра подходов к защите контента. Понимание различий между краулингом и использованием контента для обучения может повлиять на стратегии защиты интеллектуальной собственности в эпоху активного развития технологий ИИ.