Нет, llms.txt — это не «новые мета-ключевые слова»

В этом посте

• llms.txt — это предлагаемый стандарт
• Стандарты требуют времени
• Лучшая аналогия
• Можно ли злоупотреблять llms.txt?
• Что на самом деле должны делать специалисты по поисковой оптимизации
• llms.txt как центр внимания

Когда Джон Мюллер из Google сравнил llms.txt со старым тегом meta keywords, некоторые специалисты по SEO интерпретировали этот комментарий как отрицание концепции и восприняли его как подтверждение того, что llms.txt переоценен, возможно, даже устарел.

Если говорить честно и ясно, Мюллер не утверждал, что llms.txt работает как мета-ключевые слова в техническом смысле. 

Он отметил, что LLM (Large Language Model - большие языковые модели)  пока не пользуются широким спросом, и поэтому это не имеет значения, что в то время было не так уж и неразумно, учитывая траекторию принятия. 

Но это было месяц назад, и за несколько недель все может сильно измениться.

Его аналогия также подразумевает, что llms.txt можно обмануть, но это не более верно для него, чем для большинства того, что уже делают специалисты по поисковой оптимизации.

Мета-тег keywords содержал непроверяемые утверждения — можно было заявить что угодно без доказательств, и люди так и делали. Они так злоупотребляли этим, что Google в конечном итоге проигнорировал его. 

С другой стороны, файл llms.txt формирует список реальных URL-адресов, и контент должен существовать и предоставляться к моменту появления модели. Он направляет модели к фактической ценности, а не к заявленной релевантности.

llms.txt — это предлагаемый стандарт

Думайте о llms.txt как о карте сокровищ для систем искусственного интеллекта , которую вы рисуете сами. 

Это простой текстовый файл (разметка), размещаемый в корне вашего веб-сайта, в котором явно перечислены конкретные URL-адреса, которым модели ИИ должны отдавать приоритет при доступе к вашему сайту. 

На этапе вывода — в тот момент, когда магистр права получает вопрос и извлекает контент из сети, чтобы синтезировать ответ, — модель может не сразу определить, где находится ваш лучший контент. 

Без руководства можно полностью упустить идеальный ответ. 

Файл llms.txt выступает в качестве такого руководства, позволяя вам поставить на карте крестик и сказать: «Начинайте копать здесь». 

Он указывает на реальный, высококачественный контент — без блефа и пустых заявлений — и гарантирует, что модели найдут и используют то, что вы от них хотите.

Без него модели вынуждены спотыкаться на сайте, перегруженном раздутой разметкой, всплывающими окнами, непоследовательной навигацией и скрытыми страницами. 

С помощью llms.txt вы четко направляете их к тому, что наиболее важно, сохраняя их ограниченные контекстные окна и гарантируя, что они эффективно извлекают нужную информацию.

Стандарты требуют времени

Да, поддержка сегодня ограничена. Но стандарты развиваются: robots.txt , схемы и карты сайта — всё это заняло годы. 

Perplexity уже использует структурированные резюме, а небольшие инструменты тестируют уровни поглощения. Ранние пользователи будут готовы, когда технология станет общедоступной.

Даже если вы настроены скептически, стоит помнить, что технологии, которые мы сейчас считаем основополагающими для хорошего SEO, начинались с малого и сталкивались с сопротивлением. 

• Поначалу robots.txt не пользовался особым уважением. 
• Потребовались годы, чтобы Schema.org получила широкое распространение, и даже сейчас она необязательна, но ценна. 

Подобные стандарты успешны, потому что они решают реальные проблемы таким образом, что люди могут ими воспользоваться.

Лучшая аналогия

AMP оптимизирован для определенного интерфейса: мобильного интернета. 

Файл Llms.txt также оптимизируется для определённого интерфейса: слоя ответов на основе LLM. Но, в отличие от AMP, он не требует дублирования контента в другом формате. 

Вас просто просят наглядно и доступно продемонстрировать ваши лучшие работы и убедиться, что они действительно видны, когда бот следует по карте.

Интересно, что одним из замечаний Мюллера к llms.txt было то, что боты и так уже загружают полную страницу — так какой смысл предоставлять альтернативную версию? 

Эта жалоба имеет смысл, если предположить, что боты ведут себя как Google или Bing — сканируют и индексируют всё подряд. 

Но агенты LLM работают не так. 

Кстати, AMP на самом деле требовал дублирования страниц, и Google рассматривал обе версии. 

Но llms.txt работает по-другому, потому что сканеры LLM работают по-другому: LLM, как правило, заходят в определенные фрагменты контента — в стиле «Миссия невыполнима», берут то, что им нужно, и уходят. 

Если они сначала проверят llms.txt, они смогут сравнить то, что указано как наиболее важное, с тем содержимым, которое они собирались загрузить, и решить, подойдет ли что-то другое лучше. 

Именно такой контекстно-ориентированный подход и обеспечивает llms.txt, что, как ни парадоксально, делает критику более применимой к AMP, чем к llms.txt.

Но даже эта аналогия не идеальна. 

В то время как AMP был нестабильным, обязательным и действительно обслуживал только узкую группу издателей, llms.txt является необязательным, приносит пользу всем и находится на волне ИИ. 

Он не ограничивает креативность или пользовательский опыт, а также не создаёт проблем с дублированием контента. Вместо этого он подчёркивает то, что уже хорошо.

Можно ли злоупотреблять llms.txt?

Почти все в SEO можно обмануть. 

Люди злоупотребляют схемой. Люди наполняют метатеги ключевыми словами. 

Некоторые даже пытались манипулировать robots.txt. Llms.txt не более уязвим — он просто новее. 

Вместо того чтобы пытаться жульничать, лучшая стратегия — создавать понятный, цитируемый и проверяемый контент и сделать его поиск простым для моделей.

Даже если кто-то попытается обмануть её, модели всё равно найдут контент и оценят его качество. Как только модель появится на странице, её ясность, авторитетность и содержание уже не сымитировать.

Что на самом деле должны делать специалисты по поисковой оптимизации

Прежде чем отбросить llms.txt, помните: robots.txt тоже не «необходим», как и схема. 

Llms.txt предлагает быстрый и практичный способ: чистую карту на основе разметки, которой вы управляете без редизайна или маркетинговых баталий. 

Вы даже можете предложить облегчённые альтернативы Markdown и указать на них модели. Это снизит нагрузку на сервер и повысит прозрачность.

Многие владельцы сайтов теперь жалуются, что LLM нагружают их серверы и потребляют значительную часть пропускной способности. 

Именно здесь llms.txt в сочетании с альтернативами markdown становится еще более ценным. 

Создавая чистые, облегченные версии .md самых важных страниц, указывая в llms.txt только те из них, которые указаны, и явно запрещая сканерам LLM доступ ко всему остальному, вы можете ограничить агентов только этими файлами .md, сохраняя пропускную способность и в то же время передавая информацию четко и эффективно.

Давайте забудем о том, является ли llms.txt фактором ранжирования — это не тот разговор. Вместо этого спросите:

• Структурирован ли мой лучший контент для извлечения?
• Может ли LLM цитировать эту страницу без объяснений?
• Вывожу ли я на экран тот контент, который должен найти ИИ?

Используйте llms.txt для отображения этого контента. 

Думайте об этом не как о метаданных, а как о витрине магазина, доступной для искусственного интеллекта. 

Модели уже на подходе. Можно либо позволить им повозиться… либо дать им карту.

Если вы хотите обеспечить себе видимость в будущем благодаря результатам, полученным с помощью ИИ, инвестируйте в ясность и структуру уже сейчас. Llms.txt — один из способов сделать это, не дожидаясь, пока все остальные это сделают.

llms.txt как центр внимания

Сравнение с метатегом keywords не отражает реальную ситуацию на данный момент. 

Мы больше не конкурируем за рейтинги на странице синих ссылок. 

Мы боремся за включение в ответы, которые требуют структуры, ясности и намерения.

Вот для чего нужен llms.txt.

Это не список пожеланий. Это прожектор. Используйте его, чтобы осветить работу, которую вы с гордостью демонстрируете миру.