Крупные ИИ‑компании договорились о едином запрете обучения ИИ в файле robots.txt

В Google совместно с такими крупными разработчиками ИИ, как OpenAI, Google, Microsoft и Anthropic, объявили о планах по внедрению в файл robots.txt единого механизма управления использованием контента для обучения. Это позволит владельцам веб‑сайтов задавать свои предпочтения в отношении машинного обучения сразу для нескольких разработчиков, выполнив настройку всего один раз.

Решение основано на наработках рабочей группы AIPREF в рамках Инженерного совета Интернета (IETF).

Вместо того чтобы создавать отдельные инструкции для каждого разработчика ИИ, владельцы сайтов смогут использовать в файле robots.txt специальный «маркер политики» (policy token), определяющий общие правила для всех участвующих в системе провайдеров ИИ.

Если сайт использует этот маркер, чтобы запретить использование своего контента для обучения ИИ (при этом директива Google‑Extended не задана отдельно), Google будет интерпретировать это как запрет, аналогичный действию Google‑Extended. Другие разработчики ИИ могут поступать так же, что упрощает для владельцев сайтов процесс управления доступом: можно либо ограничить использование контента для всех сразу, либо выбрать конкретных провайдеров.

Существующие инструменты, предназначенные для отдельных компаний, продолжат работать. Таким образом, владельцы сайтов могут задать общие правила с помощью отраслевого стандарта, одновременно уточняя инструкции для конкретных разработчиков (например, для Google — через Google‑Extended). Сайты, которые явно разрешают использование контента через Google‑Extended, могут отображаться в ответах и ​​получать переходы пользователей благодаря механизму «обоснования» (grounding) в приложениях Gemini.

«Данное предложение учитывает пожелания издателей, общественных организаций, регуляторов и других заинтересованных сторон, выступающих за создание единых отраслевых стандартов управления обучением ИИ. Поддержка этого предложения со стороны ведущих разработчиков ИИ закладывает основу для создания надёжного и долговечного межотраслевого стандарта. Инициатива также соответствует положениям Кодекса практики для поставщиков моделей ИИ общего назначения (GPAI) в рамках Закона ЕС об искусственном интеллекте (EU AI Act), где файл robots.txt признаётся основным способом выражения предпочтений владельцев веб‑ресурсов в формате, доступном для машинного считывания. Мы продолжим взаимодействовать с этими заинтересованными сторонами, чтобы доработать и стандартизировать данный механизм в рамках рабочей группы IETF», — отметили в Google.

Новый инструмент управления начнут внедрять в 2027 году.

Ранее Microsoft также объявила о новых правилах использования содержимого сайтов в своих ИИ‑продуктах. Владельцы ресурсов смогут отдельно запрещать обучение моделей на своих материалах и использование этих материалов при генерации ответов Bing и Copilot. При этом страницы по‑прежнему смогут присутствовать в обычной поисковой выдаче.