Что такое LLMS.txt заменяет ли он Robots.txt и SiteMap.xml?

Сейчас пользователи могут добавлять файлы llms.txt на свои сайты на WordPress, Joomla и Drupal, чтобы обеспечить их будущую поддержку поисковыми системами с искусственным интеллектом (ИИ). Но давайте разберём всё по порядку.

Зачем нужен файл LLMS.txt?

LLMS.txt — это предложение нового стандарта, разработанное специально для ИИ, который позволит моделям больших языков (LLM) получать доступ к контенту издателя в удобном для LLM виде. Основной контент представлен LLM без рекламы и других элементов страницы, ориентированных на людей.

Предложенный стандарт использует разметку на страницах с именем файла *.md — дубликаты существующих страниц, которые содержат только основной контент. Джон Мюллер из Google намекнул на ненадёжность предложенного стандарта, так как ничто не мешает недобросовестным SEO-специалистам добавлять в страницы LLMs.txt всё, что они пожелают.

Чем LLMS.txt отличается от robots.txt и sitemap.xml?

В отличие от robots.txt, который управляет сканированием поисковых систем, или sitemap.xml, где перечислены все страницы, llms.txt разработан для того, чтобы помочь ИИ-ассистентам быстро понимать и использовать наиболее релевантную информацию на сайте. Это файл Markdown, обычно расположенный в корне сайта, который направляет инструменты ИИ к ценному контенту, потенциально улучшая видимость сайта в ответах, генерируемых искусственным интеллектом.

Как это работает?

Курируемый список: предоставляет упорядоченный, приоритетный список ключевых URL-адресов, часто с заголовками и описаниями, чтобы помочь ИИ-ботам.

Дополняет другие стандарты: работает вместе с существующими стандартами, такими как robots.txt и карты сайта, предоставляя ИИ другой тип навигации, а не управление доступом или перечисление всех страниц.

Зачем это может понадобиться?

Увеличивает видимость в ИИ: помогает гарантировать, что ваш самый важный контент будет включён в ответы, генерируемые ИИ, что потенциально привлекает больше трафика.

Полезно для специфического контента: особенно актуально для сайтов с большой документацией, разделами часто задаваемых вопросов, руководствами по продуктам и обучающими статьями.

Преимущество раннего внедрения: по мере того как инструменты ИИ всё больше интегрируются с веб-браузерами, наличие файла llms.txt может дать вашему сайту конкурентное преимущество.

А теперь давайте разберём, для каких CMS уже есть готовые платные или бесплатные решения, которые можно установить на сайт самостоятельно, без привлечения услуг веб-разработчиков, то есть как самому установить и настроить файл llms.txt.

Файл llms.txt уже поддерживается в WordPress, Drupal и Joomla

Ещё летом Yoast SEO добавил поддержку llms.txt как для Free, так и для Pro версий плагина для WordPress. Другие CMS не отстают от трендов и также постепенно внедряют эту функцию. Например, в Joomla компонент JSitemap Pro (комплексное решение — компонент, модуль, плагин) добавил генерацию файлов LLMS.txt в свою платную PRO-версию. Тем временем Drupal уже имеет модуль llms_txt, однако другие платформы пока не успеваю_