Как работает инструмент удаления URL в Google: напоминание от Джона Мюллера

Недавно Джон Мюллер из Google ответил на вопрос о том, как удалить взломанные URL, которые все еще отображаются в поисковом индексе. Он подробно объяснил, как убрать сайты из результатов поиска, и обсудил все нюансы работы в такой ситуации.

Удаление взломанных страниц из поисковой выдачи Google

Человек, задавший вопрос, стал жертвой так называемой «японской» хакерской атаки, когда злоумышленники создают сотни или даже тысячи фальшивых веб-страниц на японском языке. Пользователь справился с проблемой и удалил зараженные страницы, оставив вместо них страницы с ошибкой 404. Однако Google все еще ссылается на них в результатах поиска.

Теперь ему нужно полностью удалить их из индекса Google, чтобы сайт больше не ассоциировался с этими страницами. Он спросил:

«Мой сайт недавно подвергся «японской» атаке. Я перенес сайт на нового хостинг-провайдера и удалил все данные оттуда. Однако факт в том, что множество японских URL было проиндексировано. Как мне удалить из индекса эти тысячи URL с моего сайта?»

Этот вопрос отражает распространенную проблему после «японской» хакерской атаки: взломанные страницы упорно остаются в индексе еще долгое время после их удаления. Это доказывает, что восстановление сайта не заканчивается на удалении вредоносного контента. Поисковому индексу Google тоже нужно очиститься от этих страниц, и этот процесс может занять неприятно много времени.

Как удалить страницы «японской» хакерской атаки из Google

Джон Мюллер из Google порекомендовал использовать Инструмент удаления URL в Search Console. Вопреки названию, этот инструмент не удаляет URL из поискового индекса. Он просто ускоряет их исчезновение из результатов поиска Google, если контент уже удален с сайта или заблокирован для краулера Google.

В обычных условиях Google удаляет страницу из результатов поиска после того, как ее обойдет краулер и заметит, что она заблокирована или удалена (ответ сервера 404).

Три предварительных условия для Инструмента удаления URL

1. Страница удалена и возвращает код ответа сервера 404 или 410.
2. URL заблокирован от индексации с помощью мета-тега robots: <meta name=”robots” content=”noindex”>
3. URL запрещен для обхода crawler'ом в файле robots.txt.

Мюллер ответил:

«Вы можете использовать инструмент удаления URL в Search Console для отдельных URL (даже если URL начинаются с одного и того же). Я бы использовал его для тех, которые особенно заметны (проверьте отчет о производительности, данные за 24 часа).

Это не удаляет их из индекса, но скрывает их в течение суток. Если страницы теперь недействительны / выдают 404, они со временем тоже выпадут, но инструмент удаления означает, что вы можете немедленно остановить их показ. (Редирект на 404 — оба варианта технически допустимы, 404 — это правильный код ответа)»

Мюллер уточнил, что Инструмент удаления URL не стирает URL из индекса Google, а лишь скрывает их из результатов поиска быстрее, чем это произошло бы при естественном переобходе. Его объяснение — это напоминание о том, что инструмент оказывает временный эффект на видимость в поиске и не является способом навсегда удалить URL из самого индекса Google. Фактическое удаление из поискового индекса происходит после того, как Google убедится, что страница действительно удалена или заблокирована для сканирования и индексации.