robots.txtを書いてテストする

やりたいこと

robots.txtはサイトルートに置き、クローラに取得しないでほしい場所を伝えます。よくある仕事は2つです。ステージング全体をインデックスから外す、またはサイトを残しつつ1つのディレクトリだけ隠す。

作り方

作成モードでエージェント名（*またはGooglebot）のグループを追加し、Allow/Disallowルールを設定します。Disallow: /は全遮断、Disallow: /stagingはそのツリーだけ遮断です。ツールがルートに貼るファイルを生成します。

• Sitemap: https://example.com/sitemap.xmlはサイト全体行として追加できます。
• ルールはパス前方一致で最長一致が勝ちます。Allow: /staging/publicはDisallow: /stagingよりその配下に優先します。

パスの検査

検査モードに切り替え、既存のrobots.txtと/private/report.pdfのようなパスを貼ります。*ワイルドカード付きの最長一致（Googlebotと同じ解決）で判定し、どのルールが決めたかを示します。

対応範囲

robots.txtはお願いでしかありません。素直なクローラは従いますが、スクレイパーは無視します。秘密を守る手段にはなりません——公開ファイルです。「許可」判定は「disallowされていない」の意味で、インデックス登録を保証しません。