Google присоединяется к OpenAI и Anthropic, обещая новые меры контроля за сбором данных
Новая директива robots.txt не позволит компаниям собирать контент для обучения генеративного ИИ.
tadamichi/Shutterstock
Google, Anthropic, OpenAI и Microsoft обязались соблюдать новую директиву robots.txt, которая позволит издателям указывать свои предпочтения относительно сбора их контента для обучения генеративного ИИ. Компании решили принять предложение, рассматриваемое IETF — организацией, разрабатывающей открытые интернет-стандарты. Его автор — Кевин Келли, технический руководитель Anthropic по вопросам стандартизации.
Как пояснили в своих объявлениях OpenAI и Google, сейчас владельцам сайтов приходится определять отдельных поисковых роботов и добавлять отдельные правила для каждого провайдера. Предложение Келли изменит ситуацию: несколько компаний, занимающихся ИИ, будут распознавать и соблюдать единый общий сигнал. Издателям потребуется добавить в файл robots.txt нового пользователя-агента, предназначенного специально для обучения ИИ. Он будет выглядеть так:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/
Это заблокирует поисковых роботов, специально предназначенных для сбора данных с целью обучения ИИ. Раздел «Allow» позволит владельцам сайтов разрешить сбор данных для обучения ИИ с отдельных частей страницы — например, если на ней есть пресс-кит. Однако новый раздел для пользователя-агента не запрещает сканирование сайта целиком и не мешает появлению контента в результатах поиска Google. Так, Google будет трактовать его как запрет на сканирование для пользователя-агента «Google-Extended», который собирает на сайтах материалы для обучения моделей Gemini.
Важно также отметить, что эта директива не отменит уже проведенный компаниями сбор данных. Если они раньше сканировали страницу, ее содержимое у них уже есть. Директива лишь помешает им собирать данные с сайтов или отдельных страниц в будущем. Anthropic уже начала поддерживать новую директиву, а Microsoft сообщила, что начнет ее поддерживать 1 февраля 2027 года. Google также заявила о поддержке в начале 2027 года, а OpenAI пообещала внедрить новый сигнал в ближайшие месяцы.
