Содержание
- Очистка «crawl waste»: что я сделал
- Как отреагировали AI-поисковые платформы
- Выводы — и планирование быстрых побед
Очистка «crawl waste» подняла видимость в AI-поиске до 10% в отдельных случаях — при этом был небольшой спад в ChatGPT. Исправления sitemap и упрощение информационной архитектуры (IA) дали эффект.
Что такое «crawl waste» и почему это опасно
«Crawl waste» — это засорение области, доступной для краулинга, множеством неиндексируемых или низкокачественных страниц. Такие страницы расходуют ресурсы поисковых роботов и мешают системам — в том числе AI-поиску — находить и учитывать действительно ценный, авторитетный контент.
Я регулярно сталкиваюсь с этим в проектах моего агентства: уменьшение числа неиндексируемых страниц и акцент на качественных материалах неизменно помогает в традиционных результатах поиска. Но как это влияет на видимость в AI-поиске и отличаются ли реакции разных платформ? Ниже — мой кейс и выводы.
Очистка «crawl waste»: что я сделал
Правило простое: в sitemap должны попадать только канонические версии страниц, которые вы действительно хотите индексировать.
У клиента в нише ухода за детьми сайт имел ~2 000 индексированных страниц и примерно 45 000 страниц, которые не индексировались. Среди них было около 4 000 дубликатов и перенаправляемых URL, ошибочно указанных в sitemap. Кроме того, на сайте присутствовали низкокачественные каталожные/директорные страницы, что в сумме давало плохое состояние для индексации.
Я оптимизировал sitemap и стратегию индексирования: сократил число дублирующих и перенаправляемых URL в sitemap с более чем 4 000 до менее чем 200. Эта чистка повысила эффективность краулинга — поисковики и AI-системы стали фокусироваться на высококачественном, релевантном контенте клиента.
Как отреагировали AI-поисковые платформы
Я измерял изменения видимости с помощью Profound — считаю видимость как отношение числа появлений бренда в результатах промптов к общему числу релевантных промптов.
- В целом инициатива увеличила видимость по всем AI-платформам — до 10% в отдельных случаях.
- Общая видимость превысила 90% на Perplexity, AI Mode, AI Overviews, Gemini, Grok и Meta AI.
- Исключение — ChatGPT: там видимость упала на 4,1%. Моя гипотеза — ChatGPT медленнее учитывает крупные изменения в индексации и технической структуре сайта, если у пользователей не включён доступ в веб/броузинг; в то время как такие адаптеры, как Perplexity и инструменты Google, реагируют быстрее.
- Несмотря на спад в ChatGPT, суммарная видимость выросла на 3,5% — хоть и не шокирующее изменение, но это положительная динамика, позволяющая опережать конкурентов.
- В Gemini прирост был достаточен, чтобы клиент обошёл конкурента, который стабильно лидировал ранее.
Выводы — и планирование быстрых побед
Этот кейс — не окончательный вердикт, но он даёт конкретные, применимые шаги и быстрые «победы» для других проектов:
- Измеряйте эффект AI-инициатив, даже если они выстроены на традиционных SEO-практиках.
- Всё, что упрощает обнаружение вашего лучшего контента для поисковых платформ (AI и классических), — приоритетно.
- Ясная структура URL и интуитивная информационная архитектура (IA) помогают обнаружению на разных платформах.
- Если нужен модель IA — создайте крупный «пиллар» по теме, наполните его авторитетным контентом и продвигайте ссылки на него внутри сайта и на внешних ресурсах, которые любят LLM (включая Reddit).
- Не предполагаете, что все AI-платформы ведут себя одинаково — ищите различия (например, между ChatGPT и Google AI) и готовьте A/B-или 2.0-анализы для приоритизации платформ.
- Всегда стремитесь к подтверждению результатов за пределами одного теста или кейса — первые выводы важны, но требуют дополнительной валидации.
Если кратко: избавление от «crawl waste», корректный sitemap и понятная IA дают реальные преимущества в видимости для AI-поиска. Этот кейс — хороший первый шаг, который стоит масштабировать и проверять на других сайтах.
Комментарии