robots.txt 作成ツール
最初の3つは既存のグループを置き換えます。AIボタンは一般に公開されているAIクローラー名のグループを追加し、他はそのまま残します。名前は変わることがあるので時々見直してください。
既存の robots.txt を読み込む
* はすべてのクローラーです。複数の名前をカンマで区切ると同じルールが適用されます。
パスは / で始まり、大文字と小文字を区別します。* は任意の文字列、$ はURLの末尾を表すので、/*.pdf$ ですべてのPDFをブロックできます。 Crawl-delay(リクエスト間の秒数)はGoogleでは無視されますが、ほかの一部の検索エンジンは従います。
問題は見つかりませんでした。
robots.txtという名前でホストのルートに置きます(例: https://example.com/robots.txt)。サブドメインごとに別のファイルが必要です。
URL をテスト
上の robots.txt を Google と同じ読み方で判定します。クローラー名と完全に一致するグループが User-agent: * より優先され、同名のグループはまとめて扱われます。専用グループがないクローラーは似た名前ではなく * に従います(Googlebot-Image は Googlebot グループを使いません)。グループ内では一致したルールのうち最も長いものが決め手になり、同じ長さなら Allow が勝ちます。完全な URL はパスとクエリだけを使います。
robots.txtは鍵ではなく、公開された「お願い」です。誰でも読めて、行儀の悪いボットは無視するため、秘密のパスを書いてはいけません。また検索結果からページを消すものでもなく、ブロックしたURLもリンク経由でインデックスされることがあります。検索から外すにはnoindexタグを使い、ページはクロール可能なままにします。保護したい場合はパスワードを使ってください。
robots.txtの仕組み
行儀のよいボットはサイトをクロールする前に /robots.txt を取得し、自分の名前に一致するグループを探します。なければ User-agent: * に従います。グループ内では Disallow が避けるべきパスを示し、Allow がその中の例外を作ります。このファイルが制御するのはインデックスではなくクロールで、従うかどうかはボット次第です。
使い方
- 1 テンプレートを選ぶか例を編集します。クローラーごと(すべてなら *)に1グループ作り、Disallow と Allow の行を書きます。
- 2 サイトマップのURLを追加し、チェック結果を確認します。先頭にスラッシュのないパスや https:// のないサイトマップはすぐに指摘されます。
- 3 テキストをコピーするかrobots.txtをダウンロードしてサイトのルートにアップロードし、サイト名/robots.txt を開いて表示されるか確認します。
どのルールが優先されるか
主要な検索エンジンはルールを上から順に読みません。URLごとに最も具体的な一致、つまり最も長いパスを採用し、同じ長さの Allow と Disallow があれば Allow が勝ちます。そのため Disallow: /admin/ と Allow: /admin/help/ は、書く順番に関係なくヘルプページをクロール可能にします。またクローラーが従うのは1グループだけで、Googlebot のグループがあれば Googlebot は * のグループを完全に無視します。
ブロックとnoindexは別物
robots.txtでブロックしたURLも、他のページからリンクされていれば検索結果に出ることがあります。たいていは説明文のないリンクだけの表示です。さらに、noindexタグを付けたページをブロックもすると、クローラーはページを取得しないのでタグを読めません。検索から消すにはクロールを許可してnoindexを使い、結果から消えてからブロックしてください。
意図より多くをブロックしてしまうミス
ルールは前方一致です。Disallow: /blog は /blog-tips/ や /blogger.html もブロックするので、フォルダを指すなら /blog/ と書きます。Disallow: / だけだとサイト全体がブロックされ、テスト環境からの消し忘れの定番です。CSSやJavaScriptのフォルダをブロックすると、検索エンジンがページを正しく描画できません。また大文字小文字は区別され、/Admin/ は /admin/ を含みません。特定の URL がどう扱われるかは、出力の下のテスト欄に入力すると、決め手になったグループとルールが表示されます。
AIクローラーと制御用トークン
いくつかのAI企業は、学習データの収集に使うUser-agent名を公開し、拒否する方法としてrobots.txtを案内しています。中には独立したクローラーではなく制御用トークンもあります。Google-ExtendedとApplebot-Extendedはページを取得せず、検索クローラーが集めたコンテンツをAIモデルの学習(Googleの場合はGeminiの回答の情報源としても)に使ってよいかを示すだけです。ブロックしても検索順位には影響しませんが、検索内のAI機能から外れるわけでもありません。GoogleのAI OverviewsやAI ModeはGooglebotで動いており、Google-Extendedではなくnosnippetやnoindexで制御します。名前は変わり新しいものも増えるので、テンプレートは出発点と考え、各社の最新ドキュメントを確認してください。