автор: Aleh Barysevich
Бюджет сканирования – важная концепция SEO, которая часто упускается из виду.
У SEO-специалиста столько задач и проблем, о которых нужно помнить, что этот вопрос часто откладывается на потом.
Вкратце, бюджет сканирования может и должен оптимизироваться.
В этой главе вы узнаете:
- Как улучшить бюджет сканирования по ходу дела.
- Об изменениях концепции бюджета сканирования за последние пару лет.
Что такое бюджет сканирования
Итак, для тех из нас, кто настолько много думал/беспокоился/потел по поводу SEO, что забыл, что такое бюджет сканирования, вот краткое напоминание.
Бюджет сканирования – это просто частота, с которой сканирующие боты поисковых систем (т.е. пауки и боты) просматривают страницы вашего домена.
Эта частота предполагается как баланс между попытками Googlebot не перегружать ваш сервер и общим желанием Google сканировать ваш домен.
Оптимизация бюджета сканирования – это ряд шагов, которые следует предпринять, чтобы увеличить частоту посещения поисковыми системами ваших страниц.
Чем чаще они посещают, тем быстрее обновленные страницы попадают в индекс.
Следовательно, ваши оптимизационные усилия займут меньше времени, чтобы возыметь эффект и начать влиять на позиции.
С такой формулировкой это, конечно, звучит как самое важное, что мы все должны делать каждую секунду, верно?
Ну, не совсем.
Почему оптимизация бюджета сканирования игнорируется?
Чтобы ответить на этот вопрос, достаточно взглянуть на этот официальный пост от Google.
Как объясняет Google, само по себе сканирование не является фактором ранжирования.
Этого достаточно, чтобы некоторые SEO-специалисты даже не задумывались о бюджете сканирования.
Для многих из нас "не фактор ранжирования" приравнивается к "не моя проблема".
Я категорически не согласен с этим.
Но даже если забыть об этом, есть комментарии Гари Илльеса из Google. Он прямо заявил, что, конечно, для огромного сайта с миллионами и миллионами страниц управление бюджетом сканирования имеет смысл.
Но если у вас домен средних размеров, то вам не нужно слишком сильно беспокоиться о бюджете сканирования. (И даже добавил, что если у вас действительно миллионы и миллионы страниц, вам следует подумать об удалении части контента, что в целом было бы полезно для вашего домена).
Но, как мы все знаем, SEO – это вовсе не игра в изменение одного большого фактора и получение результатов.
SEO – это во многом процесс внесения небольших пошаговых изменений, уход за десятками метрик.
Наша работа во многом заключается в том, чтобы тысячи крошечных мелочей были оптимизированы как можно лучше.
Кроме того, хотя само по себе сканирование не является большим фактором ползучести, как указывает Джон Мюллер из Google, оно полезно для конверсий и общего здоровья сайта.
Исходя из всего вышесказанного, я считаю важным убедиться, что на вашем сайте нет ничего, что активно вредит бюджету сканирования.
Как оптимизировать бюджет сканирования сегодня
Есть вещи, которые по-прежнему очень важны, а значимость других сильно изменилась, до точки полной неактуальности.
Вам по-прежнему нужно обращать внимание на то, что я называю "обычными подозреваемыми" в вопросах здоровья сайта.
1. Разрешите сканирование важных страниц в robots.txt
Это очевидно и естественный первый и важнейший шаг.
Управление robots.txt можно выполнять вручную или с помощью инструмента аудита сайта.
Я предпочитаю использовать инструмент, когда это возможно. Это один из тех случаев, когда инструмент просто удобнее и эффективнее.
Просто добавьте ваш robots.txt в выбранный инструмент – это позволит разрешить/заблокировать сканирование любой страницы вашего домена за секунды. Затем вам просто нужно будет загрузить отредактированный документ и вуаля!
Очевидно, что это может сделать практически каждый вручную. Но по моему личному опыту я знаю, что для очень большого сайта, где часто может потребоваться калибровка, намного проще позволить инструменту помочь вам.
2. Следите за цепочками перенаправлений
Это разумный подход к здоровью сайта.
В идеале, вы должны быть в состоянии избежать наличия хотя бы одной цепочки перенаправлений на всем домене.
Честно говоря, для очень крупного сайта это невыполнимая задача – перенаправления 301 и 302 обязательно появятся.
Но множество таких цепочек определенно наносят ущерб вашему лимиту сканирования, до точки, когда сканирующий бот поисковой системы может просто прекратить сканирование, не добравшись до страницы, которую вам нужно проиндексировать.
Одно или два перенаправления тут и там вряд ли сильно навредят вам, но это то, о чем каждый должен хорошо заботиться.
3. Используйте HTML по возможности
Что касается Google, то стоит отметить, что его сканирующий бот значительно улучшил сканирование JavaScript в частности, а также улучшил сканирование и индексацию Flash и XML.
С другой стороны, другие поисковые системы пока не достигли такого уровня.
Поэтому моя личная позиция заключается в том, чтобы по возможности придерживаться HTML.
Таким образом, вы точно не навредите своим шансам ни с одним сканирующим ботом.
4. Не допускайте, чтобы HTTP-ошибки съедали ваш бюджет сканирования
Технически, страницы со статусами 404 и 410 уменьшают ваш бюджет сканирования.
И если этого мало, они также ухудшают пользовательский опыт!
Именно поэтому исправление всех кодов статуса 4xx и 5xx – это действительно ситуация win-win.
В этом случае я также выступаю за использование инструмента для аудита сайта.
SE Ranking и Screaming Frog – это пара отличных инструментов, которые SEO-специалисты используют для аудита сайта.
5. Следите за параметрами URL
Всегда помните, что сканирующие боты считают отдельные URL как отдельные страницы, расходуя драгоценный бюджет сканирования.
Еще раз, сообщение Google об этих параметрах URL принесет двойную пользу, сэкономит бюджет сканирования, а также избавит от опасений насчет дублирующегося контента.
Поэтому обязательно добавляйте их в свою Учетную запись Google Search Console.
6. Обновляйте вашу Карту сайта
Еще раз, хорошо позаботиться о вашей XML карте сайта – это ситуация с двойной выгодой.
Ботам будет намного проще и легче понять, куда ведут внутренние ссылки.
Используйте в карте сайта только канонические URL.
Также убедитесь, что она соответствует последней загруженной версии robots.txt.
7. Теги hreflang жизненно важны
Для анализа ваших локализованных страниц сканирующие боты используют теги hreflang. И вы должны как можно более четко сообщать Google о локализованных версиях ваших страниц.
Во-первых, используйте `` в заголовке страницы. Где "lang_code" – это код поддерживаемого языка.
И вы должны использовать элемент для любого заданного URL. Таким образом, вы можете указать на локализованные версии страницы.
Заключение
Итак, если вы сомневались, по-прежнему ли оптимизация бюджета сканирования важна для вашего сайта, ответ однозначно "да".
Бюджет сканирования был, есть и, вероятно, останется важным аспектом, который должен учитывать каждый SEO-специалист.
Надеюсь, эти советы помогут вам оптимизировать бюджет сканирования и улучшить производительность SEO.
Удачи!