Инструменты
Руководства

Генератор meta robots

Разработка

Собирает тег <meta name="robots"> и заголовок X-Robots-Tag из директив index/noindex/follow/noarchive и др.

100 % на клиенте Без бэкенда
Параметры
Meta-тег
Заголовок X-Robots-Tag
На этой странице

Что такое директива robots meta?#

Директива robots meta сообщает поисковым краулерам, что им можно делать со страницей: индексировать или нет, переходить по ссылкам или нет, хранить кэшированную копию, показывать сниппет в результатах и так далее. Это рычаг на уровне страницы, который вы дёргаете, когда URL должен оставаться публичным (staging-страница, страница благодарности, юридический PDF), но не должен появляться в результатах Google, или когда нужно повлиять на вид сниппета результата.

Директива может жить в двух местах. robots meta-тег находится в <head> HTML страницы и применяется к этому одному HTML-документу. HTTP-заголовок X-Robots-Tag путешествует в самом ответе и применяется к чему угодно, что отдаёт сервер, — PDF, изображение, видео, JSON-файл, — включая ресурсы, у которых нет <head> для размещения тега. Поисковики учитывают оба; этот инструмент генерирует обе формы из одного набора переключателей, чтобы вы скопировали ту, что нужна вашему стеку.

Самое важное правило, которое нужно помнить: отсутствие директивы означает «без ограничений». Страница вообще без robots-тега трактуется как index, follow — полностью доступна для обхода. Директивы, которые выдаёт этот инструмент, — всё это opt-in ограничения поверх того умолчания. Справка Google определяет стандартный набор, и именно ему соответствуют переключатели здесь.

Как пользоваться#

  1. Отметьте флажки в Параметрах слева. Первые два особые — по умолчанию они включены:
    • Разрешить индексацию / Переходить по ссылкам — снимите галочку, чтобы выдать noindex / nofollow.
    • noarchive — запрещает Google показывать ссылку «В кэше».
    • nosnippet — убирает текстовый сниппет под результатом.
    • noimageindex — запрещает индексацию картинок этой страницы как ссылающихся страниц.
    • notranslate — отклоняет предложение «Перевести эту страницу» в результатах.
    • noodp — устаревший; игнорирует заголовок DMOZ/ODP.
    • nositelinkssearchbox — подавляет поисковую коробку sitelinks.
  2. При желании выберите дату и время в unavailable_after — страница будет удалена из результатов поиска после этого момента. Полезно для завершения акции или документа с ограниченным сроком.
  3. Читайте два вывода справа:
    • Meta-тег — полный элемент <meta name="robots" content="...">, готовый к вставке в <head>.
    • Заголовок X-Robots-Tag — форма HTTP-заголовка, готовая к добавлению в конфиг ответа вашего сервера или CDN.
  4. Нажмите Копировать рядом с любым выводом, чтобы забрать его.

Ключевые возможности#

  • Обе формы из одного источника. Meta-тег и заголовок X-Robots-Tag генерируются вместе, поэтому HTML-страницы и не-HTML ресурсы (PDF, изображения) получают одну и ту же директиву.
  • Учёт умолчаний. index и follow по умолчанию включены — соответствует реальному веб-умолчанию «без ограничений, если не указано иное».
  • Полный набор стандартных директив. Покрывает каждую директиву из документации Google — noindex, nofollow, noarchive, nosnippet, noimageindex, notranslate, noodp, nositelinkssearchbox и unavailable_after.
  • Поддержка unavailable_after. Единственная директива, принимающая значение; она собирается как unavailable_after: <дата> и передаётся дословно, поэтому вы контролируете точный формат.
  • 100 % на стороне клиента. Ничего загружать не нужно, нет обращений к серверу — сгенерируйте и скопируйте, а затем примените результат в своей CMS, шаблоне или конфиге nginx самостоятельно.

Разбор примера#

Оставьте умолчания (включены только Разрешить индексацию и Переходить по ссылкам) — оба вывода гласят:

<meta name="robots" content="index, follow">
X-Robots-Tag: index, follow

Это явная форма «без ограничений» — полезна, когда нужно намеренно обозначить, что страница полностью обходится.

Теперь снимите Разрешить индексацию (чтобы удержать страницу благодарности вне индекса, продолжая передавать link equity по её ссылкам) — и вывод станет:

<meta name="robots" content="noindex, follow">
X-Robots-Tag: noindex, follow

Третий случай: лендинг сезонной кампании, который должен исчезнуть после её окончания. Оставьте Разрешить индексацию и Переходить по ссылкам включёнными, задайте в unavailable_after конец кампании — и тег станет:

<meta name="robots" content="index, follow, unavailable_after: 2025-12-31T00:00">

Google перестанет показывать страницу в результатах после этой временной метки. Значение даты выдаётся точно так, как вы выбрали, поэтому убедитесь, что оно соответствует формату, который принимает ваш целевой поисковик.

FAQ#

В чём разница между noindex в meta-теге и disallow в robots.txt?#

Они работают на разных уровнях, и смешивать их небрежно нельзя. noindex — директива, которую краулер читает после выборки страницы. Если вы блокируете URL в robots.txt, краулер её не выгружает, не видит noindex и всё равно может проиндексировать URL по ссылкам, указывающим на него. Чтобы надёжно удержать страницу вне индекса, разрешите обход, но добавьте noindex — не прячьте страницу от краулера целиком.

Когда лучше использовать заголовок X-Robots-Tag, а не meta-тег?#

Всякий раз, когда ресурс не HTML — PDF, изображение, видео, таблица — у него нет элемента <head> для meta-тега, поэтому заголовок остаётся единственным вариантом. Это также правильный выбор, когда нужно применить одно правило сразу ко многим файлам через конфиг сервера или CDN, а не редактировать каждый документ.

Да. noindex управляет тем, появляется ли страница в результатах; follow — тем, переходит ли краулер по ссылкам на странице. noindex, follow удерживает страницу вне индекса, но по-прежнему позволяет link equity течь через её исходящие ссылки. Это стандартный рецепт для страниц благодарности, внутренних результатов поиска и страниц фасеточных фильтров.

Зачем инструмент вообще выдаёт index, follow, если это умолчание?#

Потому что явность бывает полезна: она фиксирует намерение в исходнике страницы, может перекрыть более строгое унаследованное правило, а некоторые команды считают наличие тега сигналом того, что страницу ревьюнили. Если предпочитаете полагаться на неявное умолчание — просто не ставьте тег; его полное отсутствие эквивалентно index, follow.