Robots コントロール

"サイト全体の robots メタタグの既定値と robots.txt の追加ルールをまとめて管理し、必要なページだけ個別に上書きできます。"

概要

Robots コントロール は、サイト全体の robots meta 出力と Robots.txt への追加ルールをまとめて管理するモジュールです。

管理画面の場所: Airygen SEO -> 設定 -> Robots コントロール

まずは安全なサイト全体の既定値を決めておき、特別なページだけエディターパネルで例外を作る運用に向いています。

設定

このページは 設定 と Robots.txt に分かれています。

設定

このセクションでは、通常のサイト全体ルールを設定します。

  • デフォルトrobots metaを有効化 をオンにすると、Airygen SEO がサイト全体で robots メタタグを出力します。
  • インデックス登録 では、デフォルトを使用、インデックス、Noindex を選べます。
  • フォロー中 では、デフォルトを使用、フォロー、Nofollow を選べます。
  • 最大画像プレビュー では、デフォルトを使用、大 (最高品質)、標準、なし を選べます。
  • 最大動画プレビュー では、デフォルトを使用、無制限 (上限なし)、30 秒、60 秒、ビデオプレビューを無効化 を選べます。
  • 追加指示 では、noarchive、nosnippet、noimageindex、notranslate などの追加ディレクティブをオンにできます。
  • カスタム指示 では、標準のコントロールにないディレクティブをカンマ区切りで追加できます。
  • robotsメタ値をプレビュー では、実際に出力される robots メタ文字列をそのまま確認できます。

Robots.txt

このセクションは、メタタグだけでは足りないクローラールールを追加したいときに使います。

  • 追加ルール では、生成される robots.txt に追加したい行を入力できます。
  • プレビューURL では、公開中の robots.txt を直接開いて確認できます。

エディターパネル

エディターパネルでは、投稿や固定ページごとにサイト全体の既定値を上書きできます。

  • プレビュー では、その投稿で現在有効になる robots の結果を確認できます。
  • ソース では、デフォルトを使用 または カスタムデータを使用 を選び、サイト全体の既定値を使うか個別設定に切り替えるかを決めます。
  • インデックス指示 では、デフォルトを継承、インデックス、Noindex を選べます。
  • リンクフォロー指示 では、デフォルトを継承、フォロー、Nofollow を選べます。
  • 個別設定では、画像と動画のプレビュー制限、追加ディレクティブ、カスタム指示(カンマ区切り) も設定できます。
  • サイト全体のデフォルトを使用 を使うと、その投稿の上書きをやめてサイト全体のルールに戻せます。

使い方

  1. Airygen SEO -> 設定 -> Robots コントロール を開きます。
  2. 設定 で、Airygen SEO にサイト全体の robots メタタグを出力させたい場合は デフォルトrobots metaを有効化 をオンにします。
  3. 続けて インデックス登録 と フォロー中 を選び、必要な場合だけ 最大画像プレビュー と 最大動画プレビュー も調整します。
  4. サイト方針に合う 追加指示 をオンにし、標準項目にない指示が必要なら カスタム指示 に追加します。
  5. robotsメタ値をプレビュー を見て、最終的な robots 文字列が意図どおりになっているか確認します。
  6. Robots.txt で必要な 追加ルール を入力し、プレビューURL を開いて公開中の robots.txt を確認します。
  7. 設定を保存したあと、必要な投稿や固定ページだけエディターパネルを開き、カスタムデータを使用 に切り替えて個別の robots 指示を設定します。

保存後は次の点を確認してください。

  • サイト全体の robots メタ文字列が、意図した既定値になっていること。
  • robots.txt には、本当に公開したい追加ルールだけが入っていること。
  • 大半のページはサイト全体の既定値を使い、不要な個別上書きが増えていないこと。
  • 個別上書きを使ったページでは、選んだディレクティブが実際の出力にも反映されていること。

SEO のメリット

robots ルールを明確にしておくと、どのページをインデックスさせるか、検索結果でどの程度のプレビューを許可するか、クローラーにどのような指示を渡すかを整理しやすくなります。

また、サイト全体の安全な既定値を先に決めておくことで、意図しないインデックスや noindex の付け忘れを減らしやすくなります。

活用例

低価値ページを多く持つサイト

Before: フィルターページや補助ページなど、検索流入の入口としては弱いページまでそのままインデックスされやすい状態でした。

After: Robots コントロール で基本方針を決め、必要なページだけ Noindex を使い分けることで、例外管理を増やしすぎずに整理しやすくなります。

クローラールールを分散管理していた運用チーム

Before: robots メタの設定と robots.txt の調整が別々に管理され、どこで何を制御しているのか確認しにくい状態でした。

After: Robots コントロール でサイト全体の既定値と robots.txt の追加ルールを 1 か所にまとめることで、非開発者でも見直しやすくなります。

よくある質問

ほとんどのページはサイト全体の既定値を使うべきですか。

はい。通常は、個別ページごとに例外を増やすより、1 つの安全な既定値を中心に運用するほうが管理しやすいです。

robots メタと robots.txt の違いは何ですか。

robots メタはページ単位のインデックスやプレビュー制御に使います。robots.txt はクローラー向けのファイル単位の案内に使います。

カスタム指示 はいつ使えばよいですか。

標準の切り替え項目で必要なディレクティブを表現できないときだけ使ってください。多くのサイトでは空のままで問題ありません。