Это значит, что боты, которые одновременно используются для поиска, работы ИИ-агентов и обучения моделей, больше не смогут свободно собирать данные с рекламных сайтов, если владелец не изменит настройки вручную.
Что именно меняется
Новые правила по умолчанию коснутся:
Новых клиентов Cloudflare
Новых сайтов существующих клиентов
Всех бесплатных аккаунтов
Cloudflare объясняет своё решение просто: большинство владельцев сайтов хотят, чтобы их контент был видим в поиске и даже в ИИ-сервисах, но при этом не готовы бесплатно отдавать интеллектуальную собственность для обучения моделей.
Особенно жёстко Cloudflare высказался в адрес «крупнейшей поисковой системы мира» (явная отсылка к Google). По данным компании, Google получает примерно в два раза больше информации, чем другие ИИ-компании, потому что издателям сложно оставаться видимыми в поиске, не попадая при этом под обучение ИИ.
Google ранее предлагала бот Google Extended, который позволяет отказаться от использования контента для обучения, но основной Googlebot продолжает сканировать сайты и для поисковых ИИ-функций (AI Overviews и AI Mode).
Pay Per Crawl превращается в Pay Per Use
Cloudflare не ограничивается только блокировкой. Компания развивает свою модель монетизации контента. Инструмент Pay Per Crawl, который позволял взимать плату за скачивание данных, эволюционирует в Pay Per Use — оплату не только за сам факт скачивания, но и за реальную ценность, которую контент создаёт для ИИ.
Это особенно актуально, учитывая, что более 50% трафика от ИИ-краулеров тратится на повторное скачивание страниц, которые не изменились. Новая система поможет издателям экономить трафик и вычислительные ресурсы.
Первые партнёрства уже работают
Cloudflare уже сотрудничает с двумя компаниями:
Ceramic.ai
You.com
Когда издатель подключает эту опцию, он получает оплату в момент, когда его контент появляется в результатах Ceramic или когда You.com использует премиум-контент. Другие ИИ-компании смогут настроить аналогичную модель под себя.
Генеральный директор и сооснователь Cloudflare Мэттью Принс отметил, что сейчас, когда доля нечеловеческого трафика в интернете впервые превысила человеческую, необходимо действовать быстрее:
Теперь, когда большинство трафика в интернете — это не люди, мы должны идти дальше и действовать быстрее, чтобы могла появиться устойчивая экосистема.
Что это значит для рынка
Новые правила Cloudflare — это очередной серьёзный шаг в сторону того, чтобы ИИ-компании начали платить за контент, на котором они обучаются и работают. Если раньше многие модели собирали данные практически бесплатно, то теперь крупные платформы вроде Cloudflare создают инфраструктуру, которая делает бесплатный сбор данных всё более сложным и дорогим.
Издатели получают новые инструменты защиты и монетизации, а ИИ-компании — чёткий сигнал: если хочешь качественные данные — будь готов платить.
