robots.txt 作成ツール - Allow・Disallow・Sitemapを簡単に設定

ツール / SEOツール / robots.txt 作成

robots.txt 作成ツール

テンプレート

最初の3つは既存のグループを置き換えます。AIボタンは一般に公開されているAIクローラー名のグループを追加し、他はそのまま残します。名前は変わることがあるので時々見直してください。

既存の robots.txt を読み込む

パスは / で始まり、大文字と小文字を区別します。* は任意の文字列、$ はURLの末尾を表すので、/*.pdf$ ですべてのPDFをブロックできます。 Crawl-delay(リクエスト間の秒数)はGoogleでは無視されますが、ほかの一部の検索エンジンは従います。

チェック

問題は見つかりませんでした。

robots.txt

            

robots.txtという名前でホストのルートに置きます(例: https://example.com/robots.txt)。サブドメインごとに別のファイルが必要です。

URL をテスト

    上の robots.txt を Google と同じ読み方で判定します。クローラー名と完全に一致するグループが User-agent: * より優先され、同名のグループはまとめて扱われます。専用グループがないクローラーは似た名前ではなく * に従います(Googlebot-Image は Googlebot グループを使いません)。グループ内では一致したルールのうち最も長いものが決め手になり、同じ長さなら Allow が勝ちます。完全な URL はパスとクエリだけを使います。

    robots.txtは鍵ではなく、公開された「お願い」です。誰でも読めて、行儀の悪いボットは無視するため、秘密のパスを書いてはいけません。また検索結果からページを消すものでもなく、ブロックしたURLもリンク経由でインデックスされることがあります。検索から外すにはnoindexタグを使い、ページはクロール可能なままにします。保護したい場合はパスワードを使ってください。

    robots.txtの仕組み

    行儀のよいボットはサイトをクロールする前に /robots.txt を取得し、自分の名前に一致するグループを探します。なければ User-agent: * に従います。グループ内では Disallow が避けるべきパスを示し、Allow がその中の例外を作ります。このファイルが制御するのはインデックスではなくクロールで、従うかどうかはボット次第です。

    使い方

    1. 1 テンプレートを選ぶか例を編集します。クローラーごと(すべてなら *)に1グループ作り、Disallow と Allow の行を書きます。
    2. 2 サイトマップのURLを追加し、チェック結果を確認します。先頭にスラッシュのないパスや https:// のないサイトマップはすぐに指摘されます。
    3. 3 テキストをコピーするかrobots.txtをダウンロードしてサイトのルートにアップロードし、サイト名/robots.txt を開いて表示されるか確認します。

    どのルールが優先されるか

    主要な検索エンジンはルールを上から順に読みません。URLごとに最も具体的な一致、つまり最も長いパスを採用し、同じ長さの Allow と Disallow があれば Allow が勝ちます。そのため Disallow: /admin/ と Allow: /admin/help/ は、書く順番に関係なくヘルプページをクロール可能にします。またクローラーが従うのは1グループだけで、Googlebot のグループがあれば Googlebot は * のグループを完全に無視します。

    ブロックとnoindexは別物

    robots.txtでブロックしたURLも、他のページからリンクされていれば検索結果に出ることがあります。たいていは説明文のないリンクだけの表示です。さらに、noindexタグを付けたページをブロックもすると、クローラーはページを取得しないのでタグを読めません。検索から消すにはクロールを許可してnoindexを使い、結果から消えてからブロックしてください。

    メタタグ生成ツール →

    意図より多くをブロックしてしまうミス

    ルールは前方一致です。Disallow: /blog は /blog-tips/ や /blogger.html もブロックするので、フォルダを指すなら /blog/ と書きます。Disallow: / だけだとサイト全体がブロックされ、テスト環境からの消し忘れの定番です。CSSやJavaScriptのフォルダをブロックすると、検索エンジンがページを正しく描画できません。また大文字小文字は区別され、/Admin/ は /admin/ を含みません。特定の URL がどう扱われるかは、出力の下のテスト欄に入力すると、決め手になったグループとルールが表示されます。

    AIクローラーと制御用トークン

    いくつかのAI企業は、学習データの収集に使うUser-agent名を公開し、拒否する方法としてrobots.txtを案内しています。中には独立したクローラーではなく制御用トークンもあります。Google-ExtendedとApplebot-Extendedはページを取得せず、検索クローラーが集めたコンテンツをAIモデルの学習(Googleの場合はGeminiの回答の情報源としても)に使ってよいかを示すだけです。ブロックしても検索順位には影響しませんが、検索内のAI機能から外れるわけでもありません。GoogleのAI OverviewsやAI ModeはGooglebotで動いており、Google-Extendedではなくnosnippetやnoindexで制御します。名前は変わり新しいものも増えるので、テンプレートは出発点と考え、各社の最新ドキュメントを確認してください。

    robots.txtのよくある質問

    いいえ。止まるのはクロールだけです。他サイトからリンクされていれば、説明文なしでインデックスに残ることがあります。消すには noindex のメタタグか X-Robots-Tag ヘッダーを付けてクロールさせるか、ページを削除するかログインの内側に置きます。
    新着
    UTM生成ツール UTMパラメータ付きのキャンペーンURLをすぐに作成。既存のパラメータや#アンカーはそのまま、値を正しくエンコードし、大文字や空白があれば警告します。
    本日の人気
    キーワード密度チェッカー 無料のキーワード出現率チェッカー。テキストやURLを入力すると、各語句の出現回数と割合がわかります。

    その他の SEO ツール

    キーワード密度チェッカー 無料のキーワード出現率チェッカー。テキストやURLを入力すると、各語句の出現回数と割合がわかります。
    スラッグ生成 見出しをそのまま整った URL スラッグに。ドイツ語の ü は ue、トルコ語の ü は u、キリル文字は翻字。言語は行ごとにあなたが選びます。
    メタタグ生成ツール タイトル、説明、URL、画像を入力して HTML メタタグ、Open Graph、Twitter カードのマークアップを生成し、公開前に Google の検索結果、Facebook、X でページがどう見えるかを確認できます。
    SERPプレビュー タイトルとメタディスクリプションが検索結果でどう見えるかをPCとスマホで確認。ピクセル幅での省略表示、文字数とピクセル数のカウンター付き。
    UTM生成ツール UTMパラメータ付きのキャンペーンURLをすぐに作成。既存のパラメータや#アンカーはそのまま、値を正しくエンコードし、大文字や空白があれば警告します。

    その他のおすすめツール

    WordをPDFに変換 Wordを無料でPDFに変換。DOC・DOCX・ODT・RTFをアップロードすると、体裁を保ったPDFを数秒でダウンロードできます。
    PDFをWordに変換 PDFを無料でWordに変換。PDFをアップロードすると、数秒で編集可能なDOCXをダウンロードできます。登録も透かしも不要。
    MD5生成器 無料のMD5生成ツール。テキストやファイルをブラウザー上でMD5チェックサムに変換でき、整合性の確認に役立ちます。
    Base64エンコーダーとデコーダー 無料のBase64エンコーダー/デコーダー。テキストやファイルをブラウザー内で相互変換でき、サーバーには送信されません。
    ワードカウンター 無料の文字数カウント。テキストを貼るだけで単語・文字・文・段落を数え、読了時間の目安も表示。データは送信されません。