meta robots noindex – самый точный способ убрать страницу из выдачи поисковиков. Это два разных варианта одной директивы: HTML-тег в head страницы или HTTP-заголовок X-Robots-Tag, который сервер отдаёт вместе с ответом. Оба эквивалентны: первый удобнее для статического контента, второй – для PDF, изображений и других не-HTML файлов.
meta robots noindex
Определение
meta robots noindex – HTML-директива, запрещающая поисковикам индексировать страницу. Размещается в теге <meta> в head или передаётся через HTTP-заголовок X-Robots-Tag. Главное отличие от Disallow в robots.txt: noindex запрещает индексацию (попадание в выдачу), а не обход страницы краулером.
2 мин 201 Обновлено 12 августа
Как это работает
HTML-вариант размещается в head:
<meta name="robots" content="noindex">
HTTP-заголовок (для PDF и не-HTML файлов):
X-Robots-Tag: noindex
Когда краулер находит такую страницу, он её обходит, парсит, но в индекс не добавляет. Если страница уже была в индексе, она оттуда удаляется – это занимает от нескольких часов до нескольких недель в зависимости от частоты обхода.
Директивы meta robots
noindex – одна из набора директив:
| Директива | Что делает |
|---|---|
| noindex | Не индексировать страницу |
| index | Индексировать (значение по умолчанию, обычно не пишется) |
| nofollow | Не передавать вес по ссылкам с этой страницы |
| follow | Передавать вес по ссылкам (по умолчанию) |
| none | Эквивалент noindex, nofollow |
| noarchive | Не сохранять кэш страницы |
| nosnippet | Не показывать описание в выдаче |
| max-snippet | Ограничить длину описания |
Можно комбинировать через запятую: <meta name="robots" content="noindex, nofollow">.
noindex vs Disallow в robots.txt – главная разница
Это самая частая путаница в техническом SEO. Директивы решают разные задачи:
| Параметр | noindex (meta или X-Robots-Tag) | Disallow (robots.txt) |
|---|---|---|
| Что запрещает | Индексацию (попадание в выдачу) | Обход краулером |
| Краулер обходит страницу? | Да, обходит, читает, не индексирует | Нет, не обходит |
| Страница может попасть в индекс? | Не может | Может – если на неё ведут внешние ссылки |
| Где задаётся | На самой странице | В корне сайта |
| Когда применять | Чтобы убрать страницу из выдачи | Чтобы сэкономить crawl budget |
Парадокс Disallow: если в robots.txt запретить обход страницы, но на неё ведут внешние ссылки, Google может всё равно показать её в выдаче – с пометкой «нет описания». Поэтому для гарантированного удаления из индекса используется noindex, а не Disallow.
Важное правило: если нужно убрать страницу из индекса через noindex, её не должно быть в robots.txt. Иначе краулер не зайдёт на страницу и не увидит директиву noindex – страница останется в индексе.
Зачем это нужно
noindex применяется в шести типичных сценариях.
- Служебные страницы. Корзина, страница оплаты, личный кабинет – не должны быть в выдаче
- Страницы фильтров и сортировки. Каталог с GET-параметрами вроде
?sort=priceсоздаёт тысячи дублей – для них noindex или canonical - Дубликаты контента. Печатные версии страниц, мобильные дубли
- Тонкий контент. Карточки товаров без описаний, страницы с одной строкой, неинформативные разделы
- Внутренний поиск сайта. Страницы результатов поиска часто бесконечные и низкокачественные
- Архивы устаревшего контента. Старые акции, анонсы прошлых мероприятий
Пример
В проекте e-commerce-клиента в Search Console было около 200 000 страниц-дублей с GET-параметрами фильтров: /category/?color=red, /category/?size=L&color=red и так далее. Все они были в индексе, разбавляя релевантность основных карточек.
Решение: добавили в шаблон страниц с GET-параметрами тег <meta name="robots" content="noindex, follow">. Параметр follow важен: краулер всё ещё переходит по ссылкам с такой страницы дальше, но саму страницу не индексирует. Параллельно убрали эти URL из sitemap.xml. Через 6 недель из индекса ушло 187 000 страниц-дублей. Видимость основных категорий выросла на 12% за следующие 2 месяца – Google переключил внимание на качественные страницы.
Альтернативой могло быть использование canonical, но canonical – рекомендация, которую Google может проигнорировать. noindex – жёсткая директива.
Частые вопросы
В чём разница между noindex и Disallow в robots.txt?
noindex запрещает индексацию страницы (попадание в выдачу), но краулер всё равно её обходит. Disallow запрещает обход краулером – но если на страницу ведут внешние ссылки, она может попасть в индекс с пометкой «нет описания». Для гарантированного удаления из выдачи используется noindex, для экономии crawl budget – Disallow.
Можно ли использовать одновременно noindex и Disallow?
Нет, это противоречивая комбинация. Если в robots.txt стоит Disallow, краулер не зайдёт на страницу и не увидит директиву noindex. Страница может остаться в индексе через внешние ссылки. Если нужно убрать страницу из индекса, открой её в robots.txt и добавь noindex на саму страницу. После того как страница ушла из индекса, можно закрыть её Disallow для экономии crawl budget.
Как быстро noindex удаляет страницу из индекса?
От нескольких часов до нескольких недель. Скорость зависит от частоты обхода страницы краулером и общей частоты обновления индекса. Для часто обходимых страниц (главная, важные разделы) удаление может занять сутки. Для редко обходимых – до 4–6 недель. Ускорить можно через инструмент удаления URL в Google Search Console и Яндекс.Вебмастер.
Чем отличается meta noindex от X-Robots-Tag?
Эффект одинаковый, разница в способе передачи. meta noindex – это HTML-тег в head страницы, работает только для HTML-страниц. X-Robots-Tag – HTTP-заголовок в ответе сервера, работает для любого типа файлов: HTML, PDF, изображения, видео. X-Robots-Tag – единственный способ закрыть от индексации не-HTML файлы.
Когда использовать noindex с follow, а когда без?
noindex, follow – когда нужно убрать страницу из индекса, но сохранить передачу ссылочного веса дальше по сайту. Типичный кейс: страницы фильтров каталога с GET-параметрами. Сами страницы не индексируются, но ссылки с них на товары работают. noindex, nofollow (или эквивалентное none) – когда страница не должна влиять на сайт вообще: тестовые страницы, страницы благодарности после форм.
Какой синтаксис для noindex только для Google или только для Яндекса?
Через атрибут name можно указывать конкретного бота. Для Google: meta name="googlebot" content="noindex". Для Яндекса: meta name="yandex" content="noindex". Для всех ботов сразу: meta name="robots" content="noindex". На практике в 99% случаев используется универсальное robots – разные правила для Google и Яндекса нужны редко.
Влияет ли noindex на ранжирование других страниц сайта?
Косвенно – да. Удаление низкокачественных страниц через noindex улучшает общее качество индексируемого контента и помогает поисковикам сосредоточиться на ценных страницах. Это особенно заметно на больших сайтах с большим количеством дублей и тонкого контента. Прямого фактора ранжирования нет, но улучшение видимости основных страниц после массовой деиндексации низкокачественных – типичный результат.
Связанные термины
Crawl budget
Crawl budget (краулинговый бюджет) – количество страниц сайта, которое поисковик готов обойти за определённый период. Складывается из crawl rate limit (нагрузка на сервер) и crawl demand (важность сайта для поиска). Критичен для сайтов от 100 000+ страниц.
sitemap.xml
sitemap.xml – XML-файл со списком всех значимых URL сайта, который помогает поисковикам обнаруживать и индексировать страницы. Стандарт Sitemap Protocol 0.9 опубликован Google, Microsoft и Yahoo 16 ноября 2006 года. Не влияет на ранжирование, но критичен для скорости индексации больших сайтов.
Поисковый индекс
Поисковый индекс – база данных поисковой системы, где хранится информация о просканированных страницах. Google и Яндекс ищут по индексу, а не по интернету напрямую: страница вне индекса не может появиться в выдаче.
Материалы по теме
Что почитать дальше по этой теме.
Статья
Что боты находят на сайте, а вы – нет
Боты ходят по изнанке сайта, куда живой человек не забредёт, и фиксируют в логах то, чего не видно ни в Метрике, ни на витрине: падающие с ошибкой 500 страницы каталога, битый файл с 747 обращениями, поток сканеров секретов. Разбираю на реальных логах, что искать и как чинить.
7 мин
200
22 июля 2026
Инструкция
Как выгрузить и читать access-логи, если хостинг хранит их три дня
Access-лог – единственное место, где виден весь трафик сайта, включая ИИ-ботов, которых не замечают счётчики. Разбираю на практике: где взять логи, как не потерять их из-за ротации, какие команды показывают ботов, ошибки и подозрительную активность.
7 мин
153
21 июля 2026
Флагманский гайд
AI-анализ email-обращений: методика на стыке Яндекс.Метрики и Claude Code
Классический email-трекинг отвечает на вопрос «откуда пришло обращение». AI-слой отвечает на вопросы, которые раньше требовали ручного аналитика: значим ли email на фоне звонков, форм и мессенджеров, почему один источник даёт качественные обращения, а другой – пустые, какие сегменты визитов предшествуют письму, что написать в ответ с учётом пути пользователя. Здесь – как я собираю это на уже имеющемся стеке: Logs API Метрики, PostgreSQL и Claude Code, без новых платных сервисов.
11 мин
293
26 мая 2026
Флагманский гайд
Майкор: ИИ-аудит проекта по 4 точкам контакта
Майкор – это перекрёстный ИИ-аудит проекта в 4 точках контакта: сайт, контекстная реклама, AI-поиск и Яндекс.Карты. Я анализирую каждую систему и смотрю связки между ними – где маркетинг рассказывает одно, реклама ведёт на другое, а AI-системы цитируют третий номер телефона. В одном из моих аудитов медицинской клиники в Москве у организации в индексе AI-сервисов оказалось 6 разных номеров и всего 7 упоминаний на 64 проверочных запроса – при том, что в обычной выдаче Яндекса клиника была в топ-1. Майкор закрывает такие разрывы за один аудит вместо четырёх раздельных.
16 мин
497
13 мая 2026
Гайд
FAQPage Schema: как разметить блок частых вопросов и попасть в AI-ответы
FAQPage schema – один из самых эффективных типов разметки для попадания в AI-ответы. Страницы с FAQPage schema цитируются AI-поисковиками в 2,7 раза чаще. В этом гайде – формат разметки, правила написания ответов для AI, реализация на 1С-Битрикс и типичные ошибки, которые обнуляют эффект.
8 мин
328
25 апреля 2026