Cloudflare объявила о запуске экспериментального маркетплейса Pay per Crawl, который позволяет владельцам сайтов контролировать доступ ИИ-ботов к своему контенту и получать оплату за каждый «crawl». Участники приватной бета-версии могут самостоятельно определять, разрешить ли отдельным ИИ-компаниям сканировать их сайт за фиксированную микроплату, бесплатно или полностью заблокировать такой доступ. Инструменты Cloudflare позволяют видеть, для чего именно используются эти сканирования — например, для обучения моделей или для ответов в ИИ-поиске.
Чтобы участвовать в маркетплейсе, и владельцы сайтов, и ИИ-компании должны иметь аккаунты Cloudflare. Они могут устанавливать собственные ставки на «crawl», а Cloudflare выступает посредником в расчетах и распределяет оплату между сторонами. В компании подчеркивают, что в настоящее время Pay per Crawl не использует криптовалюты или стейблкоины, но рассматривает возможность внедрения таких средств оплаты в будущем.
С июня Cloudflare автоматически блокирует все ИИ-боты на новых сайтах, добавленных в сервис. Администраторы могут вручную предоставить доступ отдельным ботам, если считают это необходимым. К инициативе уже присоединились крупные издатели, в том числе TIME, The Atlantic, ADWEEK, Fortune, Conde Nast и The Associated Press, которые поддерживают подход с разрешением на сканирование вместо автоматического сбора данных.
По данным Cloudflare, соотношение сканирований к переходам на сайт от разных ботов значительно отличается. Например, в июне бот Google совершал 14 сканирований на каждый переход, OpenAI — 1700, а Anthropic — 73000. В то же время новые «агентные» ИИ-сервисы могут самостоятельно посещать сайты, собирать информацию и предоставлять её пользователям без перехода на первоисточник, что влияет на традиционные модели монетизации контента.
