Robots メタ生成
開発index/noindex/follow/noarchive などの指示から <meta name="robots"> タグと X-Robots-Tag ヘッダーを組み立てます。
このページの内容
robots メタディレクティブとは？#
robots メタディレクティブは、検索エンジンのクローラに対し、ページをどう扱ってよいかを指示します。インデックスするか否か、リンクをたどるか否か、キャッシュコピーを保持するか、検索結果にスニペットを表示するか、など。これは、URL は公開のままでなければならない（ステージングページ、サンキューページ、法的 PDF）が Google の結果には出したくない場合や、結果スニペットの見え方を整形したい場合に引っ張る、ページレベルのレバーです。
ディレクティブが存在できる場所は 2 つあります。robots メタタグはページの HTML <head> に置かれ、その 1 つの HTML ドキュメントに適用されます。X-Robots-Tag HTTP ヘッダーはレスポンス自身に入って流れ、サーバーが返すあらゆるもの — PDF、画像、動画、JSON ファイルを含む、メタタグを置く <head> のないリソースにも — 適用されます。検索エンジンは両方を尊重します。本ツールは同じトグル群から両方の形式を生成するため、スタックが必要な方をコピーできます。
覚えておくべき唯一の最重要ルール：ディレクティブがないことは「制限なし」を意味する。robots タグのないページは index, follow — 完全にクロール可能 — として扱われます。本ツールが発するディレクティブはすべて、そのデフォルトの上に乗るオプトインの制限です。Google のリファレンスが標準セットを定義しており、それがまさにここのトグルが対応するものです。
使い方#
- 左のオプションチェックボックスを操作します。最初の 2 つは特殊で — デフォルトでオンです。
- index／follow — チェックを外すと
noindex／nofollowを発行。 - noarchive — Google が「キャッシュ」リンクを表示するのを防ぎます。
- nosnippet — 結果の下のテキストスニペットを抑制します。
- noimageindex — このページの画像が参照元ページとしてインデックスされるのを止めます。
- notranslate — 結果の「このページを翻訳」提案を辞退します。
- noodp — レガシー。廃止済みの DMOZ/ODP タイトルを無視します。
- nositelinkssearchbox — サイトリンクの検索ボックスを抑制します。
- index／follow — チェックを外すと
- 任意でunavailable_after の下で日付と時刻を選びます — その瞬間以降、ページは検索結果から落とされます。プロモーションや期間限定ドキュメントを期限切れにするのに便利です。
- 右の 2 つの出力を読みます。
- メタタグ —
<head>に貼り付けReadyの完全な<meta name="robots" content="...">要素。 - X-Robots-Tag — サーバーや CDN のレスポンス設定に追加できる HTTP ヘッダー形式。
- メタタグ —
- いずれかの出力の隣のコピーをクリックして取得します。
主な機能#
- 1 つのソースから両形式。 メタタグと
X-Robots-Tagヘッダーが一緒に生成されるため、HTML ページと非 HTML リソース（PDF、画像）が同じディレクティブを得ます。 - デフォルト対応。
indexとfollowはデフォルトでオンで、「明示されない限り制限なし」という実際のウェブのデフォルトに一致します。 - 完全な標準ディレクティブセット。 Google が文書化するすべてのディレクティブをカバー —
noindex、nofollow、noarchive、nosnippet、noimageindex、notranslate、noodp、nositelinkssearchbox、unavailable_after。 unavailable_after対応。 値を取る唯一のディレクティブ。unavailable_after: <date>として組み立てられ、verbatim で渡されるため、正確な形式を制御できます。- 100% クライアントサイド。 アップロードする設定も、ラウンドトリップするサーバーもなく — 生成してコピーし、その後 CMS、テンプレート、nginx 設定に自分で適用します。
実例#
デフォルト（index と follow のみオン）のままで、両出力は次を読みます。
<meta name="robots" content="index, follow">X-Robots-Tag: index, followこれは「制限なし」の明示形式です — ページが完全にクロール可能であることを意図的に示したい場合に便利です。
次に index のチェックを外すと（リンク equity はリンクを通じて渡しつつ、サンキューページをインデックス外に保つなど）、出力は次になります。
<meta name="robots" content="noindex, follow">X-Robots-Tag: noindex, follow3 つ目のケース：終了後に消えなければならない季節キャンペーンのランディングページ。index と follow をオンのままにし、unavailable_after をキャンペーンの終了時に設定すると、タグは次になります。
<meta name="robots" content="index, follow, unavailable_after: 2025-12-31T00:00">Google はそのタイムスタンプ以降、結果にページを表示するのを止めます。日付値は選んだ通りに発行されるため、ターゲットの検索エンジンが受け付ける形式に一致するか確認してください。
よくある質問#
メタタグの noindex と robots.txt の disallow の違いは何ですか？#
異なるレイヤーで動作し、無造作に混ぜてはいけません。noindex はクローラがページをフェッチした後に読むディレクティブです。robots.txt で URL をブロックすると、クローラはフェッチせず、noindex を見ず、リンクを基に URL をインデックスすることさえあります。ページをインデックス外に確実に保つには、クロールは許可しつつ noindex を追加してください — クローラからページを完全に隠さないでください。
メタタグではなく X-Robots-Tag ヘッダーを使うべきなのはいつですか？#
リソースが HTML でないとき — PDF、画像、動画、スプレッドシート — はメタタグを置く <head> 要素がないため、ヘッダーが唯一の選択肢です。また、各ドキュメントを編集するのではなく、サーバーや CDN 設定経由で 1 つのルールを多数のファイルに一度に適用するのにも正しい選択です。
noindex, follow はリンク equity をまだ渡しますか？#
はい。noindex はページが結果に現れるかを制御し、follow はクローラがページ上のリンクをたどるかを制御します。noindex, follow はページをインデックス外に保ちつつ、ページの発リンクを通じてリンク equity が流れるのは許可します。サンキューページ、内部検索結果、ファセットフィルターページの標準的なレシピです。
デフォルトなのにツールが index, follow を発行するのはなぜですか？#
明示的にすることが有用になり得るためです。ページソースに意図を文書化し、より制限的な継承ルールを上書きでき、タグの存在をページがレビューされたというシグナルとして扱うチームもあります。暗黙のデフォルトに頼りたいなら、単にタグを省いてください — 完全に省略するのは index, follow と等価です。