Noindex — директива для поисковых роботов, запрещающая добавлять страницу в поисковый индекс. Реализуется несколькими способами: мета-тегом <meta name="robots" content="noindex">, заголовком HTTP-ответа X-Robots-Tag: noindex или атрибутом ссылки (в системе Яндекса тег <noindex>...</noindex> скрывает текст от индексации). Несмотря на похожее название, noindex и nofollow — разные директивы с разным действием.
Страница с noindex не исключается из краулинга — поисковый робот всё равно может зайти на страницу и перейти по её ссылкам. Она исключается из индекса (не показывается в результатах поиска) и со временем удаляется, если уже была проиндексирована.
Способы закрыть страницу от индексации
- Meta robots noindex —
<meta name="robots" content="noindex, follow">в<head>. - X-Robots-Tag — HTTP-заголовок, работает для любых файлов (PDF, изображения).
- Disallow в robots.txt — закрывает доступ краулера, но не гарантирует деиндексацию (страница может быть в индексе без содержимого, если на неё есть ссылки).
- Яндекс <noindex> — скрывает фрагмент текста от анализа Яндексом (не закрывает страницу от индексации).
Когда использовать noindex
- Технические страницы: корзина, личный кабинет, результаты поиска по сайту.
- Дублирующийся контент: страницы параметров фильтров (UTM, сортировки).
- Страницы с тонким контентом: теги, категории с 1–2 постами.
- Черновики и тестовые страницы на staging-сервере.
Часто задаваемые вопросы
В чём разница между noindex и Disallow в robots.txt?
Disallow в robots.txt: запрещает краулеру заходить на страницу → страница не сканируется → Google не видит мета-тег noindex → но если на страницу ведут ссылки, Google может добавить URL в индекс без содержимого. Мета-тег noindex: робот заходит на страницу, видит директиву, удаляет страницу из индекса, при этом переходит по ссылкам (follow). Правильная стратегия: для страниц, которые точно не должны индексироваться — noindex. Disallow — только для страниц, которые не нужно сканировать вообще (API, служебные эндпоинты).
Можно ли ставить noindex, follow одновременно?
Да, это распространённая и правильная комбинация. noindex, follow означает: «Не индексируй эту страницу, но переходи по ссылкам на ней». Использование: страницы с тонким контентом, которые содержат важные ссылки на другие разделы. Вес по внутренним ссылкам будет передаваться, но сама страница в поиске не покажется. Противоположный вариант noindex, nofollow: «Не индексируй и не переходи по ссылкам» — используется для полностью изолированных служебных страниц.
За какое время Google удаляет noindex-страницу из индекса?
Обычно 1–8 недель после обнаружения тега. Зависит от: частоты краулинга (популярный сайт = быстрее), количества ссылок на страницу (много ссылок = чаще краулируется = быстрее удалится). Ускорение через Search Console: «Проверить URL» → запросить переобход. Но это только ускоряет краулинг, не обеспечивает мгновенное удаление. Яндекс: схожая скорость, можно ускорить через инструмент переобхода в Яндекс Вебмастере.
Что происходит с ссылочным весом страницы после добавления noindex?
Входящие ссылки на noindex-страницу теоретически продолжают передавать вес при наличии follow. Google официально не говорит, что ссылки на noindex-страницы обесцениваются. Исходящие ссылки с noindex-страницы: при noindex,follow — передают вес; при noindex,nofollow — нет. Практика: не закрывайте noindex страницы с высоким внутренним PageRank (главную, ключевые категории) — потеряете мощный источник внутреннего веса. Если нужно убрать страницу из поиска, сохранив вес — используйте canonical на дублях вместо noindex.
