OpenAI, Google, Microsoft и Anthropic поддержат новый стандарт, позволяющий издателям отказаться от скрейпинга их сайтов для обучения ИИ. Об этом ранее сообщило издание Search Engine Roundtable.
Предлагаемый сигнал «policy token» будет размещаться в файле robots.txt, который сайты используют для указания правил доступа веб-роботов. Инициативу предложил Кевин Келли, технический руководитель по стандартам в Anthropic, в рамках работы Инженерного совета Интернета (IETF).
Стандарт должен дать издателям возможность применять единые настройки для нескольких ИИ-компаний вместо того, чтобы настраивать ограничения отдельно для каждой. Это предложение касается контроля доступа к онлайн-контенту и его использования при обучении моделей.