robots.txtテスター
サイトのrobots.txtを読み込むか、自分のルールを貼り付けて、URLとクローラーを指定するだけ。許可かブロックかの判定と、その根拠になった行、さらに主要12クローラーでの一括テスト結果が表示されます。
任意のクローラートークンが使えます。一覧にないクローラーは直接入力してください。
貼り付けたルールはすべてブラウザ内で照合されます。ドメインからrobots.txtを取得する場合のみ、その公開ファイル1つをダウンロードするために当社のサーバーを経由しますが、内容は一切保存されません。
robots.txtのマッチングは実際どう動くのか
robots.txtファイルは、いくつかのグループの集まりです。各グループは1行以上のUser-agent行で始まり、そのクローラーに適用されるAllowとDisallowのルールを持ちます。クローラーは自分の製品トークンに一致するグループだけを読み、該当する名前付きグループがない場合にかぎって全体向けのグループを読みます。そのため、Googlebot向けに書いたルールはGPTBotには一切効きません。
同じグループ内で複数のルールが同じURLに一致した場合は、最も具体的なもの、つまり一致する文字数が最も多いパターンが勝ちます。AllowとDisallowの長さが並んだときはAllowが優先されます。この順序は標準化されたRobots Exclusion ProtocolであるRFC 9309に由来し、Disallow: /admin/ とAllow: /admin/public/ を並べるとpublicフォルダだけクロール可能になるのはこのためです。
パターンでは2種類のワイルドカードが使えます。アスタリスクは任意の長さの文字列を表し、ドル記号はパターンをURLの末尾に固定します。パスは大文字小文字を区別しますが、クローラー名は区別しません。また1つのrobots.txtが管理するのは同じスキーム・ホスト・ポートだけなので、wwwサブドメインのファイルはwwwなしのドメインをカバーしません。
このテスターが教えてくれること
- 選んだクローラーに対する判定と、その根拠になったルールおよび行番号
- 同じURLを12のクローラーで一括テスト。検索ボットとAIボットを並べて比較できます
- どのグループが適用されたか(名前付きグループか、全体向けのグループか)
- ファイル内で宣言されているすべてのSitemap行
- 解析時の警告:User-agent行より前に書かれたルール、未対応のディレクティブ、Disallowに書かれた絶対URL、Sitemapの欠落
AI対応度チェッカー
ChatGPT、Claude、Perplexityはあなたのサイトを読んで引用できるでしょうか?llms.txt、robots.txtのAIクローラー設定、構造化データ、メタデータをチェックします。
AI対応度をチェック →ブログの最新記事
多言語SEOを壊すhreflangの間違い10選
壊れたhreflang設定のほぼすべては、この10の間違いで説明がつきます。しかもその多くは何のエラーも出しません。見つけ方と直し方を1つずつ解説します。
robots.txtAIクローラー向けrobots.txt：許可と拒否のレシピ
GPTBot、ClaudeBot、PerplexityBotなどを1つの小さなテキストファイルで制御する、3つのレシピとボット別の比較表。
サイトマップXMLサイトマップのエラー一覧と修正方法
サイトマップのエラーはほとんどが定番の原因に行き着きます。症状から原因を特定し、最短で修正するための実践ガイドです。