Большинство исследований в SEO не врут, но и правду не говорят

Почему многие исследования в SEO вводят в заблуждение, как распознать слабые данные и принимать решения на основе фактов. Разбор ошибок и советы по честным исследованиям.
Большинство исследований в SEO не врут, но и правду не говорят

Многие исследования по SEO выглядят как наука, но на самом деле часто вводят в заблуждение. Я расскажу, как распознать слабые работы, не попасться на плохие данные и принимать решения на основе реальных фактов.

Мираж в пустыне выглядит как вода и может обмануть даже опытного путешественника. С SEO всё то же самое — видимость науки, убедительный вид, и даже опытные маркетологи верят, что нашли истину.

Даниэль Канеман как-то сказал, что люди лучше возьмут карту Пиренеев, заблудившись в Альпах, чем останутся без карты. В SEO мы идём дальше: берём карту Пиренеев, называем её картой Альп и учим других, как по ней ходить.

Хуже того, мы редко сомневаемся в авторитетах, которые эти карты дают. Эйнштейн говорил: «Слепое послушание авторитету — злейший враг правды».

В этой статье я расскажу:

  • Как ненаучные исследования в SEO вводят нас в заблуждение
  • Почему мы продолжаем на это вестись
  • Что с этим делать

А в конце я дам готовый инструмент, который поможет быстро определять псевдонаучные исследования и не тратить время впустую.

Проблемы ненаучных исследований в SEO

Настоящее исследование должно помогать понять реальную картину: какие методы работают, а какие ведут в тупик; какое оборудование выдержит нагрузку; где прочная опора, а где камни, что осыплются под ногами.

Плохие исследования рушат всё это. Вместо прочного фундамента — шаткая почва. Пример: кто-то заявляет «Мы подняли трафик клиентов на X% за счёт ChatGPT». Но они забывают, что в это же время сам ChatGPT вырос на 83% по посещаемости. Рост мог произойти и без их действий.

И всё это упаковывается в громкие заголовки, которые разлетаются по соцсетям благодаря крупным аккаунтам.

Основные проблемы таких работ:

  • Результаты нельзя повторить
  • Выводы нельзя применить к другим случаям
  • Нет прозрачности, как собирались данные

Пример: исследования пересечения AI Overview и обычного поиска

Есть много попыток понять, как часто сайты из ТОП-10 Google попадают в AI Overview. Я собрал 11 таких работ и выяснил, что пересечение колеблется от 5% до 77%, в среднем — около 46%.

Разброс объясняется разными наборами ключевых слов, временем проведения исследований и методами отбора. Большинство работ — про США, почти никто не раскрывает набор ключевых слов, и лишь единицы проверяли больше 100 тысяч запросов.

Главный вывод: со временем Google чаще берёт контент из ТОП-10 для AI Overview, чем раньше. Но все эти исследования страдают одними и теми же проблемами:

  • Маленький набор ключей — нельзя делать общие выводы
  • AI меняется слишком быстро — данные устаревают
  • Часто неясно, что именно измеряли
  • Сильная опора на средние значения, которые могут искажать реальность
  • Игнорирование «разветвления запросов» у чат-ботов

Почему мы ведёмся на плохие исследования

Причины разные:

  1. Неосведомлённость — человек просто ещё не знает, как делать научные исследования.
  2. Неспособность — человек физически или интеллектуально не может это сделать.
  3. Добровольная глупость (аматиа) — знания есть, но человек сознательно их игнорирует.
  4. Предвзятость и скрытые мотивы — желание быть правым, заработать или подтвердить свои взгляды.

К этому добавляются соцсети, которые затягивают нас в замкнутые информационные круги. Плохие данные множатся, авторы получают внимание, а пользователи тонут в потоке «сенсаций».

Как это исправить

1. Проводить исследования правильно

  • Пытаться доказать, что ты неправ, а не прав
  • Делиться исходными данными для проверки
  • Смотреть на реальные действия, а не слова
  • Наблюдать и проверять постоянно
  • Продумывать дизайн исследования (контрольные группы, рандомизация, ограничения)

2. Правильно рассказывать о результатах

  • Избегать сенсационных заголовков
  • Самому читать оригиналы, а не пересказывать чужие пересказы
  • Проверять источники
  • Критически относиться к информации

3. Критично потреблять информацию

Задавайте вопросы:

  • Кто проводил исследование и зачем?
  • Есть ли конфликт интересов?
  • Как был выбран объект исследования?
  • Какой объём данных?
  • Можно ли повторить эксперимент?
  • Ограничили ли авторы свои выводы?

Итог: начни с себя

SEO нельзя просчитать на 100% — всегда есть доля случайности. Но жажда определённости создала рынок ложной уверенности, где сомнительные исследования получают внимание, а честные остаются в тени.

Мы можем либо идти за ложными картами, либо строить свои, лучше и точнее. Наука — это не только ответы, но и умение задавать правильные вопросы. И начать можно прямо сейчас — с того, чтобы изменить свой подход.

Комментарии