Cloudflare будет блокировать веб-краулеры, обслуживающие ИИ-компании

Компания Cloudflare объявила о планах автоматической блокировки веб-краулеров смешанного типа, которые одновременно индексируют сайты для поисковых систем и выступают в качестве ИИ-агентов и инструментов обучения нейросетей. Ранее компания предоставляла своим клиентам возможность по желанию запретить краулерам сканировать сайты для нужд ИИ-чат-ботов, но теперь Cloudflare переходит к более активной защитной позиции по умолчанию.

«Поскольку сегодня большая часть интернет-трафика является нечеловеческой, мы должны действовать решительнее и быстрее, чтобы сформировать устойчивую экосистему», — заявил Мэттью Принс, генеральный директор и соучредитель Cloudflare. «Новые инструменты и партнерства Cloudflare дают владельцам сайтов больше прозрачности и коммерческих возможностей, а также приносят пользу тем ИИ-компаниям, чьи боты работают с четкими и понятными намерениями. Мы надеемся, что наши предложенные изменения, внедряемые по умолчанию, побудят разработчиков краулеров смешанного типа разделять функции поиска от использования в агентских целях и обучении ИИ».

Раньше веб-трафик свидетельствовал о том, что люди просматривают рекламу на сайте или оплачивают подписку, однако популярность ИИ-моделей, способных посещать сайты от имени пользователя для получения актуальной информации, перевернула эту систему. Новый подход Cloudflare — это попытка восстановить баланс отношений таким образом, чтобы это было справедливо как для ИИ-компаний, так и для владельцев сайтов.

Начиная с 15 сентября 2026 года для новых клиентов и новых сайтов существующих подписчиков Cloudflare по умолчанию будет действовать правило: «разрешать поиск, но блокировать использование данных для обучения и агентских целей на страницах с рекламой». Краулеры смешанного типа, не предоставляющие владельцам сайтов возможности выбирать, будет ли их контент использоваться для нужд ИИ, также будут автоматически блокироваться на страницах с рекламой. Согласно заявлению компании, пользователи с бесплатными аккаунтами также будут переведены на эти настройки по умолчанию, если не отключат их до дедлайна 15 сентября.

В рамках этих изменений Cloudflare также выпускает новую версию функции Pay Per Crawl («Оплата за сканирование»), представленную в 2025 году, которая позволяла сайтам блокировать ИИ-краулеры по умолчанию, если только компании не платили за сбор их контента. Теперь функция называется Pay Per Use («Оплата за использование»), и вместо начисления платежей за факт сканирования веб-страницы, Cloudflare заявляет, что владельцы сайтов будут получать оплату, когда их контент появляется в ответах ИИ-чат-ботов. В объявлении упоминаются только партнерства с Ceramic.AI и You.com, но Cloudflare, вероятно, рассчитывает, что к инициативе присоединятся и другие ИИ-компании по мере того, как клиенты будут подключать данную опцию.

Помимо попыток сделать отношения между сайтами и ИИ-компаниями более справедливыми, как отмечает TechCrunch, Cloudflare, по всей видимости, косвенно бросает вызов Google. В заявлении компании упоминается, что «крупнейшая поисковая система имеет доступ примерно в два раза большему объему информации, чем ведущие ИИ-компании, поскольку затрудняет для клиентов возможность оставаться в поисковой выдаче, не позволяя при этом использовать свой контент для нужд ИИ». Основной краулер Google, Googlebot, одновременно индексирует сайты для различных поисковых сервисов компании и собирает информацию для обучения модели Gemini и обеспечения работы таких ИИ-функций, как AI Overviews и AI Mode. Google позволяет сайтам подключить отдельный краулер Google-Extended, который сканирует страницы только для традиционных результатов поиска, но если издатель хочет присутствовать в результатах AI Mode, однако не хочет, чтобы его контент использовался для обучения моделей Google, у него нет такой возможности. Новая политика Cloudflare — это попытка заставить Google и другие компании с краулерами смешанного типа изменить свою тактику.