Инженер Google Гэри Иллис предупредил, что агенты искусственного интеллекта и автоматизированные боты вскоре заполонят интернет трафиком. Гэри Иллис, работающий в команде Google Search Relations, в недавнем подкасте сказал: «Все, включая мою бабушку, запускают поисковый робот».
Предупреждение прозвучало в последнем выпуске подкаста Google Search Off the Record .
Агенты ИИ будут нагружать веб-сайты
В ходе беседы с коллегой из команды Search Relations Мартином Сплиттом Иллис предупредил, что агенты ИИ и «махинации ИИ» станут значительными источниками нового веб-трафика. Иллес сказал:
«Сеть становится перегруженной… Это не то, с чем сеть не может справиться… сеть создана для того, чтобы справляться со всем этим трафиком, даже если он автоматизирован».
Этот всплеск происходит, когда компании внедряют инструменты ИИ для создания контента, исследования конкурентов, анализа рынка и сбора данных. Для работы каждого инструмента требуются сканирующие веб-сайты, и с быстрым ростом внедрения ИИ ожидается, что этот трафик будет увеличиваться.
Как работает система поиска Google
Подкаст содержит подробное обсуждение настройки сканирования Google. Вместо того, чтобы использовать разные краулеры для каждого продукта, Google разработал одну унифицированную систему. Google Search, AdSense, Gmail и другие продукты используют одну и ту же инфраструктуру краулера. Каждый из них идентифицирует себя с помощью другого имени агента пользователя, но все придерживаются одних и тех же протоколов для robots.txt и работоспособности сервера.
Иллес объяснил:
«Вы можете загрузить его из Интернета, но вам придется указать собственную строку агента пользователя».
Такой унифицированный подход гарантирует, что все поисковые роботы Google будут придерживаться одних и тех же протоколов и снизят скорость работы, если на веб-сайтах возникнут трудности.
Настоящий пожиратель ресурсов?
Иллис бросил вызов общепринятым взглядам на SEO, выдвинув потенциально спорное утверждение: сканирование не потребляет значительных ресурсов. Иллес заявил:
«Ресурсы потребляет не сканирование, а индексация и потенциальное обслуживание или то, что вы делаете с данными».
Он даже пошутил, что за такие слова на него «накричат в интернете».
Эта перспектива предполагает, что извлечение страниц использует минимальные ресурсы по сравнению с обработкой и хранением данных. Для тех, кто обеспокоен бюджетом сканирования, это может изменить приоритеты оптимизации.
От тысяч до триллионов: рост Интернета
Googleers предоставили исторический контекст. В 1994 году поисковая система World Wide Web Worm проиндексировала всего 110 000 страниц, тогда как WebCrawler удалось проиндексировать 2 миллиона. Сегодня отдельные веб-сайты могут содержать более миллионов страниц.
Этот быстрый рост потребовал технологической эволюции. Сканеры перешли от базовых протоколов HTTP 1.1 к современным HTTP/2 для более быстрых соединений , с поддержкой HTTP/3 на горизонте.
Битва за эффективность Google
Google провел прошлый год , пытаясь сократить свой след сканирования , признавая нагрузку на владельцев сайтов. Однако новые проблемы продолжают возникать.
Иллис объяснил дилемму:
«Вы экономите семь байтов с каждого сделанного вами запроса, а этот новый продукт добавит восемь».
Каждое повышение эффективности нейтрализуется новыми продуктами ИИ, требующими больше данных. Это цикл, который не показывает признаков остановки.
Что следует делать владельцам веб-сайтов
Предстоящий всплеск трафика требует действий в нескольких областях:
- Инфраструктура: Текущий хостинг может не поддерживать ожидаемую нагрузку. Оцените емкость сервера, параметры CDN и время отклика до того, как произойдет наплыв.
- Контроль доступа: просмотрите правила robots.txt, чтобы контролировать, какие ИИ-сканеры могут получить доступ к вашему сайту. Заблокируйте ненужных ботов, позволяя законным функционировать должным образом.
- Производительность базы данных: Иллис особо отметил «дорогие вызовы базы данных» как проблемные. Оптимизируйте запросы и внедрите кэширование, чтобы снизить нагрузку на сервер.
- Мониторинг: различайте легитимные поисковые роботы, агенты ИИ и вредоносные боты с помощью тщательного анализа журналов и отслеживания производительности.
Путь вперед
Иллис указал на Common Crawl как на потенциальную модель, которая сканирует один раз и делится данными публично, сокращая избыточный трафик. Подобные совместные решения могут появиться по мере адаптации веба.
Хотя Иллес выразил уверенность в способности Интернета справиться с возросшим трафиком, посыл ясен: агенты ИИ появляются в огромных количествах.
Веб-сайты, которые укрепляют свою инфраструктуру сейчас, будут лучше подготовлены к тому, чтобы выдержать шторм. Те, кто выжидает, могут оказаться подавленными, когда волна ударит со всей своей силой.