Google видит в 3,2 раза больше веб-страниц, чем OpenAI. Генеральный директор Cloudflare Мэттью Принс призывает Google разделить поисковый краулер и AI-краулер.
С 1 июля Cloudflare заблокировала 416 миллиардов запросов от AI-ботов для своих клиентов, сообщил генеральный директор Мэттью Принс. Он также подчеркнул преимущество Google в сфере ИИ: компания видит в 3,2 раза больше страниц в сети, чем OpenAI.
Почему это важно
Генеративные системы ИИ потребляют огромные объёмы веб-контента, а многие издатели остаются без инструментов защиты. Данные Cloudflare показывают, насколько активно AI-боты сканируют интернет, и насколько неравномерным является доступ крупных AI-компаний к этим данным.
Что произошло
По словам Принса, клиенты Cloudflare автоматически блокируют AI-краулеры с момента запуска программы pay-per-crawl 1 июля. С тех пор Cloudflare зафиксировала 416 миллиардов заблокированных запросов от ботов.
Аналитика Cloudflare показывает, что Google видит:
- в 3,2 раза больше веб-страниц, чем OpenAI;
- в 4,6 раза больше, чем Microsoft;
- в 4,8 раза больше, чем Anthropic или Meta.
«У них невероятно привилегированный доступ», — отметил Принс.
Глобальная картина
Google ставит издателей перед выбором без выигрыша: блокировать обучение ИИ и рисковать потерей видимости в поиске Google или допустить Googlebot и смириться с тем, что AI-системы будут собирать их контент.
«Вы не можете отказаться от одного, не отказавшись от другого — это безумие. Нельзя использовать монополию прошлого, чтобы закрепить монополию будущего», — сказал Принс.
Роль ИИ
По словам Принса, ИИ — это крупный технологический сдвиг, который способен изменить бизнес-модель веба. Cloudflare стремится предотвратить чрезмерную консолидацию, сохранить интернет открытым и помочь создателям и бизнесам адаптироваться.
Издатели, которые уже блокируют AI-краулеров, видят обнадёживающие результаты, добавил он.
Что дальше
Принс считает, что ценность «творческой, оригинальной человеческой мысли» будет расти, поскольку AI-моделям требуется всё более качественный обучающий контент. Это создаёт предпосылки для платного лицензирования.
Тем временем Cloudflare призывает крупных AI-игроков, особенно Google, разделить поисковые и AI-краулеры. По словам Принса:
«Google — это проблема. Именно эта компания не даёт интернету двигаться вперёд. Пока мы не вынудим их — или не убедим — играть по тем же правилам, что и все остальные, и разделить краулеры для поиска и ИИ, нам будет сложно полностью защитить контент».