robots.txt検証
robots.txtの内容・User-Agent・URLを入力し、RFC 9309に沿ってクロールの許可・禁止を判定するツールです。適用したグループ・ルール・行番号を表示し、Allow／Disallowの競合やワイルドカード（*）、末尾指定（$）の扱いを確認できます。サイトへのアクセスは行わず、すべてブラウザ内で処理されます。
- マッチング仕様: RFC 9309（Robots Exclusion Protocol）。User-Agentは製品トークンの完全一致（大文字・小文字は区別しない）で選び、一致するグループがなければ * のグループを使います。同じUser-Agentのグループが複数あれば結合します。
- URLのパス（クエリを含む）の先頭から比較し、最も長く一致したルールを採用します。同じ長さで競合する場合は Allow が優先されます。* は任意の文字列、末尾の $ はURLの末尾を表します。
- 判定するのはクロールの許可・禁止だけです。クロールが許可されていても検索結果に掲載されるとは限らず、禁止されていても外部リンクなどからURLだけが掲載される場合があります。掲載を防ぐには noindex を使います。
判定結果
robots.txtと判定するURLを入力すると、クロールの許可・禁止が表示されます。
使い方
- robots.txtの内容を貼り付けるか、ファイルを読み込みます。
- User-Agent（例: Googlebot）と、判定したいURLまたはパスを1行に1つ入力します。
- URLごとにクロール許可・禁止と、適用したルールと行番号が表示されます。
- Crawl-delayなど判定に使わないディレクティブや、解釈できない行は一覧の下に表示されます。
このツールについて
robots.txtの書き方を誤ると、公開ページがクロールされなくなったり、管理画面がクロールされたりします。このツールは公開前のrobots.txtで、意図したURLが許可・禁止になるかを確認できます。
判定はRFC 9309に沿っています。User-Agentに一致するグループ（なければ * のグループ）を選び、URLのパスに最も長く一致したルールを採用します。同じ長さのAllowとDisallowが競合した場合はAllowが優先されます。
クロールの許可と検索結果への掲載は別の仕組みです。Disallowしたページも外部リンクからURLだけが掲載される場合があり、掲載を防ぐには noindex を使います。サイトへのアクセスやrobots.txtの自動取得は行いません。
「User-agent: *」「Disallow: /admin/」「Allow: /admin/help」をこの順に改行して入力し、User-AgentをGooglebotにします。/admin/settingsは禁止、/admin/helpは許可となり、後者には3行目のAllowが適用されます。
「/admin/help」は前方一致なので「/admin/helpful」にも一致します。完全にそのパスだけを対象にしたい場合は末尾に$を付け、クエリ付きURLも含めて試してください。URLを入力してもサイトへアクセスせず、貼り付けたルールとパスの文字列で判定します。
よくある質問
User-Agentには何を入力すればよいですか？
Googlebot や Bingbot のようなクローラーの製品トークンを入力します。ブラウザのUser-Agent文字列全体ではありません。大文字・小文字は区別しません。
一致するルールがない場合はどうなりますか？
クロール許可として扱います。User-Agentに該当するグループがない場合も同様です。
Crawl-delay は判定に使われますか？
使いません。RFC 9309の対象外のため、判定に使わないディレクティブとして行番号付きで表示します。