Google добавил llms.txt в свою документацию – и удалил за несколько часов. Что произошло и при чём тут ИИ-видимость

llms.txt – это текстовый файл в формате Markdown, который размещается в корне сайта. Его задача – дать языковым моделям (ChatGPT, Claude, Perplexity, YandexGPT) структурированную карту самого важного контента сайта без необходимости парсить навигацию, рекламу и JavaScript. Стандарт предложил Джереми Ховард (Jeremy Howard), сооснователь Answer.AI, в сентябре 2024 года. По данным BuiltWith, к октябрю 2025 года файл внедрили более 844 000 сайтов, включая Anthropic, Cloudflare, Stripe и Vercel.

Ключевое отличие от robots.txt: llms.txt не блокирует доступ, а направляет ИИ-системы к наиболее ценным страницам. Если robots.txt – это охранник на входе, то llms.txt – библиотекарь, который подсказывает, какие книги стоит прочитать первыми.

Наиболее вероятное объяснение: CMS-платформа, которую Google использует для документации, получила обновление с поддержкой llms.txt. Файлы автоматически сгенерировались на всех поддоменах – это платформенное обновление, а не осознанное решение команды Search Central. Эту версию подтвердил SEO-специалист Дэйв Смарт (Dave Smart), указав на одновременное появление файлов на developer.chrome.com, web.dev и developers.google.com/wallet.

Команда Search Central заметила файл и удалила его в тот же день. Другие команды Google не обратили внимания или не посчитали нужным – файл на ai.google.dev/api/llms.txt, например, остаётся доступным.

Главный вывод: Google как корпорация экспериментирует с llms.txt, даже если команда Search публично от него открещивается. Это нормальная ситуация для компании с десятками продуктовых команд. Gemini API, Chrome DevTools и другие подразделения могут иметь собственное мнение о полезности стандарта.

Для владельцев сайтов это означает три вещи:

1. llms.txt не влияет на ранжирование в Google Search. Ни один представитель Google не заявлял обратного, и декабрьский инцидент этого не опроверг.
2. llms.txt может быть полезен для ИИ-поисковиков за пределами Google. Anthropic внедрил стандарт в свою документацию. Mintlify генерирует файл автоматически для сотен проектов. Есть данные о визитах GPTBot на llms.txt в серверных логах отдельных сайтов.
3. Внедрение llms.txt – это час работы с нулевым даунсайдом. Файл не может навредить. В худшем случае его просто никто не прочитает. В лучшем – ИИ-агенты получат чистую карту вашего контента.

На практике я применяю подход "cheap option": если действие стоит мало, не может навредить и потенциально полезно – делай. Файл llms.txt для melanina.ru занял 30 минут. В него вошли описание сайта, ссылки на флагманские гайды, глоссарий и ключевые страницы услуг. Позже такой же файл я поставила трём клиентским сайтам.

Обновление, сентябрь 2026. Замер сделан, и результат оказался не в пользу файла. За период наблюдения на четырёх сайтах набралось 152 обращения к llms.txt, и ни одно из них не подтверждается как запрос ИИ-ассистента. При этом по обычным страницам тех же сайтов те же боты сделали около сорока пяти тысяч запросов. Подробный разбор с методикой и с историей о том, как сводка по именам ботов чуть не привела меня к обратному выводу, – в отдельном материале лаборатории.

Файл я не снимаю ни у себя, ни у клиентов: он дёшев, вреда не несёт, а стандарт может ещё заработать. Но ожиданий по видимости в ИИ-поиске на него больше не вешаю.

1. Создайте llms.txt вручную. Не полагайтесь на автоматические генераторы – вы лучше знаете, какие 10-30 страниц определяют ваш бизнес. Формат: Markdown, H1 с названием проекта, цитата-описание, секции со ссылками на ключевые страницы.
2. Добавьте noindex через HTTP-заголовок. Рекомендация самого Мюллера: файл может случайно попасть в поисковую выдачу, если на него сошлются из блога или обзора. Заголовок X-Robots-Tag: noindex решает проблему.
3. Настройте мониторинг серверных логов, но не верьте одному имени бота. Отберите запросы к /llms.txt по журналу сервера, а затем сверьте адреса, с которых они пришли, с официальными списками OpenAI, Perplexity и Anthropic. Имя бота подделывает кто угодно: в моём замере сводка по именам показывала обращения GPTBot и PerplexityBot, а сырые строки – четырёх разных ботов с одного адреса в одну и ту же секунду. Без сверки по адресу вывод получается обратным правде.
4. Не ждите от llms.txt чуда. Это не фактор ранжирования, не замена качественному контенту и не гарантия цитирования. Это один из сигналов в экосистеме ИИ-поиска, которая формируется прямо сейчас.