автор: Kayle Larkin
Краулинг – это первый этап пути любой страницы к странице результатов. Поисковые системы должны обнаружить вашу страницу перед ее оценкой и принятием решения о том, где разместить ее в результатах.
Краулинг веба – это ресурсоемкий процесс. Поисковые системы, такие как Google, используют сотни миллиардов веб-страниц, видео, изображений, товаров, документов, книг и т. д., чтобы предоставить результаты запроса.
Поэтому они оптимизируют усилия по краулингу, чтобы сохранять ресурсы и нагрузку на посещаемые ими веб-сайты. Есть ограничение на то, сколько времени краулеры могут провести на вашем сайте. Количество времени, которое Google тратит на краулинг сайта, называется бюджетом краулинга сайта.
Все технические сбои, которые мешают Google обходить ваш сайт, называются ошибками краулинга.
Маленькие сайты, вероятно, не будут затронуты. Когда количество URL превышает несколько тысяч, становится важным помогать гуглоботу обнаруживать и определять приоритеты для обхода содержимого, а также определять, когда и сколько ресурсов сервера выделять.
Учитывая, что это отправная точка, вы можете задаться вопросом: влияет ли способность Google летать по сайту на ранжирование?
Кейс: Ошибки обхода и бюджет краулинга как факторы ранжирования
Снижение ошибок обхода и улучшение бюджета краулинга – оба эти аспекта технического SEO являются важными задачами, и не зря! Вы вкладываете десятки или сотни тысяч долларов ежегодно в создание контента высокого качества, затем нажимаете "опубликовать", и все, что вы можете сделать – это ждать, чтобы ваш труд появился в результатах поиска.
Проблема в том, что если Google не обходит страницу из-за ошибки или ограниченного бюджета краулинга, страница не ранжируется никак, то есть совсем не ранжируется. Для того чтобы страница появилась в результатах поиска Google, сначала ее должен обойти Googlebot. Вот почему некоторые маркетологи считают бюджет краулинга фактором ранжирования.
Давайте посмотрим, есть ли какие-либо доказательства поддержки этого утверждения.
Факты против
Понимание того, как страница попадает с веб-сайта на страницу результатов поиска (SERP), является важным для определения, может ли бюджет краулинга быть фактором ранжирования.
Процесс включает три этапа: обход, индексация и ранжирование.
Бюджет краулинга и ошибки обхода относятся к "обходу": боты следуют по ссылкам для обнаружения страниц.
Индексация – это анализ страницы и ее хранение в каталоге для удобного доступа.
После того как страница была обойдена и проиндексирована, она готова к отображению в результатах поиска.
Ранжирование в основном представляет собой составление списка наиболее релевантных веб-страниц вверху результатов поиска, за которыми следуют другие страницы в зависимости от того, насколько хорошо Google считает, что страница отвечает на запрос.
Этап ранжирования включает в себя большую часть анализа, выполняемого алгоритмами Google. Чтобы считаться фактором ранжирования, что-то должно иметь вес во время этапа ранжирования.
Хотя обход обязателен для ранжирования после его выполнения, этот предварительный этап не имеет веса во время ранжирования.
В случае, если это не решает полностью ваш вопрос:
Google прямо отвечает на вопрос, является ли обход фактором ранжирования, в разделе "Лучшие вопросы" блога Google Search Central:
Нет!
Вердикт: не являются факторами ранжирования.
Google определяет ранжирование многими факторами. Однако ошибки обхода и бюджет краулинга не входят в их число. Представьте себе обход как входную точку в результаты поиска Google.
Поисковым системам необходимо иметь возможность обходить ваш веб-сайт для индексации ваших страниц. Индексация необходима для ранжирования. Однако увеличение бюджета краулинга не отвечает за лучшие позиции в результатах поиска.