Индексация веб-сайта – один из первых этапов (после процесса краулинга) в сложном процессе понимания содержания веб-страниц для их ранжирования и предоставления в результатах поиска поисковыми системами.
Поисковые системы постоянно совершенствуют методы краулинга и индексации веб-сайтов.
Понимание того, как Google и Bing осуществляют процессы краулинга и индексации веб-сайтов, является ключевым для технического SEO и полезным при разработке стратегий улучшения видимости в поиске.
Индексация: Как работают поисковые системы сегодня
Давайте рассмотрим детали того, как функционируют поисковые системы.
Эта статья фокусируется на индексации. Так что давайте поглубже вникнем.
Индексация веб-сайта
Индексация – это тот этап, на котором начинается процесс ранжирования после завершения процесса краулинга веб-сайта. Индексация, по сути, означает добавление содержания веб-страницы в Google для рассмотрения при ранжировании.
Когда вы создаете новую страницу на своем сайте, существует несколько способов ее индексации. Самый простой метод для индексации страницы – ничего не делать.
Google использует краулеры, следящие за ссылками, и если ваш сайт находится в индексе, Google в конечном итоге обнаружит новый контент и добавит в свой индекс.
Как ускорить индексацию страницы
Но что, если вы хотите, чтобы Googlebot обнаружил вашу страницу быстрее?
Это может быть важным, если у вас есть своевременный контент или если вы внесли важное изменение на странице, о котором вы хотите, чтобы Google знал.
Я использую более быстрые методы, когда оптимизирую критическую страницу или меняю заголовок с описанием для улучшения кликабельности.
Мне важно точно знать, когда они были замечены и отображены в SERP, чтобы знать, с чего начинается измерение улучшения.
В этих случаях можно использовать несколько приемов.
1. XML-карты сайта
XML-карты сайта являются старейшим и в целом надежным способом привлечения внимания поисковых систем к контенту.
XML-карта сайта предоставляет поисковым системам список всех страниц вашего сайта, а также дополнительные сведения о них, такие, как дата последнего изменения.
Карта сайта может быть представлена Bing через Bing Webmaster Tools, а также представлена Google через Search Console.
Определенно рекомендуется!
Но, если вам нужно, чтобы страница была проиндексирована немедленно, это не является особенно надежным методом.
2. Запрос на индексацию через Google Search Console
В Search Console вы можете "Запросить индексацию".
Вы начинаете с того, что нажимаете на верхнее поле поиска, которое по умолчанию читается как "Проверить URL на домене.com".
Введите URL, который вы хотите проиндексировать, и нажмите Enter.
Если страница уже известна Google, вам будет предоставлено много информации. Мы не будем вдаваться в детали, но я рекомендую войти в систему и посмотреть, что там, если вы еще этого не сделали.
Для наших целей важной является кнопка, которая отображается, независимо от того, была ли проиндексирована страница или нет, что подходит для обнаружения контента или запроса Google на понимание недавнего изменения.
Вы найдете эту кнопку на рисунке ниже.
3. Принимайте участие в IndexNow от Bing
У Bing есть открытый протокол на основе метода push для оповещения поисковых систем о новом или обновленном контенте.
Этот новый протокол индексации поисковых систем называется IndexNow.
Его называют протоколом push, потому что идея заключается в том, чтобы уведомлять поисковые системы с использованием IndexNow о новом или обновленном контенте, что заставит их приходить и индексировать его.
Примером протокола pull является старый способ с картой сайта XML, который зависит от того, чтобы поисковый робот решал посетить и проиндексировать его (или быть извлеченным через Search Console).
Преимущество IndexNow заключается в том, что он меньше расходует ресурсы веб-хостинга и центра обработки данных, что не только более экологично, но и экономит ресурсы пропускной способности.
Однако самое большое преимущество – это более быстрая индексация контента.
IndexNow в настоящее время используют только Bing и Yandex.
Применение IndexNow просто. Оно по умолчанию присутствует в ПО Shopnseo.
4. Инструменты вебмастера Bing
Помимо участия в IndexNow, рассмотрите создание учетной записи в Инструментах вебмастера Bing.
Предоставляемая информация обширна и поможет вам лучше оценить проблемные моменты и улучшить ваши позиции в Bing, Google и где угодно еще – и, вероятно, обеспечит лучший пользовательский опыт.
Но чтобы индексировать ваш контент, вам просто нужно щелкнуть: Настроить мой сайт > Представить URL-адреса.
Введите URL-адрес(а), который(ые) вы хотите проиндексировать, и нажмите "Представить".
Также есть Индексирование API для Инструментов вебмастера Bing, который также может ускорить время появления контента в результатах поиска Bing в течение нескольких часов.
Подробнее об Индексировании API Bing можно узнать здесь.
Бюджет обхода (бюджет краула)
Мы не можем говорить об индексации, не упоминая бюджет обхода.
По сути, бюджет обхода – это термин, используемый для описания количества ресурсов, которые Google будет тратить на обход веб-сайта.
Бюджет, выделенный на это, основан на комбинации факторов, основными из которых являются:
- Насколько быстр ваш сервер (то есть, насколько много Google может обойти, не ухудшая ваш пользовательский опыт)?
- Насколько важен ваш сайт?
Если у вас есть крупный новостной сайт с постоянно обновляемым контентом, который пользователи поисковых систем захотят видеть, ваш сайт будет часто обходиться (осмелюсь сказать – постоянно).
Если у вас есть небольшая парикмахерская, с десятком ссылок и справедливо не считается важным в данном контексте (вы можете быть лучшим парикмахером в районе, но вы не важны, когда речь идет о бюджете обхода), тогда бюджет будет низким.
Вы можете узнать больше о бюджетах обхода и о том, как они определяются, из объяснения Google.
У Google есть два вида обхода
Индексация Google начинается с обхода, который имеет два вида:
- Первый вид – это Обнаружение, где Google находит новые веб-страницы для добавления в индекс.
- Второй вид – это Обновление, где Google находит изменения на веб-страницах, которые уже проиндексированы.
Узнайте, как работают поисковые системы
Оптимизация веб-сайтов для поисковых систем начинается с хорошего контента и заканчивается его отправкой для индексации.
Будь то с помощью XML-карты сайта, Инструмента представления URL-адресов Google Search Console, Инструментов вебмастера Bing или IndexNow, индексация этого контента – это тот момент, когда ваша веб-страница начинает свой путь к вершине результатов поиска (если все удастся!).
Вот почему важно понимать, как работает индексация поиска.