Согласно новому отчету Cloudflare, в 2025 году Googlebot вновь стал самым активным веб-краулером. Несмотря на стремительный рост ИИ-ботов, именно Google продолжает генерировать больше всего трафика, активно сканируя интернет как для поисковой индексации, так и для обучения собственных ИИ-моделей.
Данные Cloudflare показывают, что число ИИ-краулеров резко увеличилось, издатели все чаще блокируют ботов, а многие платформы при этом почти не возвращают трафик обратно на сайты.
Основные цифры
- Googlebot обеспечил более 25% всего трафика Verified Bot, зафиксированного Cloudflare.
- Один только Googlebot сгенерировал 4,5% всех HTML-запросов — больше, чем все остальные ИИ-боты вместе взятые (4,2%).
- ИИ-краулинг с имитацией пользовательских действий вырос более чем в 15 раз по сравнению с прошлым годом, что говорит о росте ботов, копирующих поведение человека.
- Объем краулинга Googlebot значительно превосходил всех других ИИ-краулеров, включая OpenAI, Anthropic и Meta.
Рост активности ИИ-краулеров
ИИ-боты стали самыми часто полностью запрещаемыми user-agent в файлах robots.txt. Издатели все активнее ограничивают доступ автоматизированных систем к своему контенту.
Anthropic показал самое высокое соотношение «краулинг / реферальный трафик» среди крупных ИИ- и поисковых платформ. Это означает, что платформа сканировала значительно больше контента, чем возвращала трафика на сайты.
- В начале года показатель Anthropic достигал примерно 500 000:1.
- После мая он стабилизировался в диапазоне от 25 000:1 до 100 000:1.
Для сравнения
- OpenAI в марте достиг пика около 3 700:1.
- Perplexity показал самый низкий показатель среди крупных ИИ-платформ: сначала менее 100:1, затем кратковременно превысил 700:1 в конце марта во время всплеска активности PerplexityBot, после чего в основном оставался ниже 400:1 и с сентября — ниже 200:1.
Поисковые платформы: иная картина
У традиционных поисковых систем соотношение краулинга и возвращаемого трафика выглядело иначе:
- Microsoft удерживался в диапазоне примерно от 50:1 до 70:1 с выраженной недельной цикличностью.
- Google вырос с чуть более 3:1 до примерно 30:1 к апрелю, затем снизился до около 3:1 к середине июля и после этого снова начал постепенно расти.
- DuckDuckGo оставался ниже 1:1 в течение первых трех кварталов года, затем в середине октября поднялся до примерно 1,5:1 и сохранил этот уровень.
Google по-прежнему монополизирует поиск
Доминирование традиционного поиска в целом практически не изменилось. Google сохранил уверенное лидерство на протяжении всего года.
- Google обеспечивал почти 90% всего реферального трафика из поисковых систем.
- Bing — 3,1%.
- Yandex — 2,0%.
- Baidu — 1,4%.
- DuckDuckGo — 1,2%.
По данным Cloudflare, в течение года наблюдались лишь незначительные изменения:
- Google оставался доминирующей силой.
- Yandex снизился с 2,5% в мае до 1,5% в июле.
- Baidu вырос с 0,9% в апреле до 1,6% в июне.