robots.txt

Файл лежит строго в корне и доступен по адресу /robots.txt. Он состоит из групп: имя робота и правила для него.

User-agent: *
Disallow: /bitrix/
Disallow: /*?print=
Allow: /bitrix/templates/

Sitemap: https://example.com/sitemap.xml

Три спецсимвола, без которых правила не читаются:

• * – любая последовательность символов. В конце пути он подразумевается неявно, поэтому Disallow: /search закрывает и /search-results/.
• $ – конец адреса. Disallow: /*.pdf$ закрывает сами PDF, но не адреса с параметрами после расширения.
• # – комментарий: всё до конца строки робот игнорирует.

Конфликт Allow и Disallow разрешается не порядком строк, а длиной правила: выигрывает то, чей путь длиннее и точнее. Если длина совпадает, приоритет у Allow.

Есть и предел объёма: роботы разбирают не более 500 КиБ файла, остальное отбрасывается. Для файла на несколько сотен строк это неважно, а вот огромный автогенерируемый список запретов до конца прочитан не будет.

Два правила, о которых чаще всего забывают. Первое: робот применяет только одну группу – ту, что точнее всего соответствует его имени; правила из User-agent: * к нему уже не добавляются. Второе: файл действует в пределах своего хоста и протокола, поэтому у версии с www и без www это формально разные файлы, и содержимое у них должно совпадать.

Обход и индексация – не одно и то же

Самое частое заблуждение: "закрыл в robots.txt – значит убрал из поиска". Нет. Запрет в robots.txt означает "не заходи на страницу". Если на неё ведут внешние ссылки, адрес может попасть в выдачу без заголовка и описания – содержимое ведь не прочитано. Хуже того: указанный на такой странице noindex робот никогда не увидит, потому что не откроет страницу.

Правило простое: не нужно обходить – robots.txt; не нужно в индексе – noindex при открытом обходе; страница не должна быть доступна вообще – авторизация или удаление.

Роботы языковых моделей управляются тем же файлом. Имена задаются отдельными группами, а часть токенов вроде Google-Extended и Applebot-Extended вообще не соответствует реальным роботам и регулирует только использование контента – подробнее в термине ИИ-краулер.

В Яндексе за попадание в быстрые ответы – YandexGPT, Нейро, Алису – отвечает отдельное имя YandexAdditional (встречается и как YandexAdditionalBot). Собственного обхода оно не ведёт, а работает поверх страниц, уже обойдённых YandexBot. Запрет этого имени убирает сайт из нейроответов, но в органической выдаче оставляет.

Решение здесь стратегическое. Если задача – присутствие в ответах ИИ-поиска, закрывать эти имена нельзя: ИИ-видимость начинается с доступа. Если контент принципиально не должен уходить в обучение, запрет ставится точечно, для обучающих роботов, а индексирующим доступ остаётся. Файл llms.txt робота ни на что не уполномочивает – это карта ключевых материалов, а не система разрешений, и robots.txt он не заменяет.