robots.txt作成・チェック

ルールからrobots.txtを生成するか、貼り付けたルールでパスが許可されるか検査します。

テキストはこのブラウザ内で処理します。送信はしません。

Google式の最長一致で判定します。最も具体的なuser-agentグループが適用され、最長のパスが優先、同長ならAllowが勝ちます。Crawl-delay等の拡張は解析のみで評価しません。

使い方

  1. ユーザーエージェント群とallow/disallowルールを追加します。
  2. または既存ファイルを貼ってパスを検査します。
  3. 生成ファイルをコピーするか判定結果を確認します。

対応範囲

Google式の最長一致ルールと*ワイルドカードで判定し、複数グループはOR結合です。ここでの許可は「disallowされていない」意味で、クローラが実際に従うかは検査できません。

関連する道具

関連ガイド