クラスター C3: ネットワークとセキュリティ
Robots.txt テストチェックリスト
誤った robots ルールは重要ページのクロールを即座に止めます。公開前の検証は、後から索引損失を追うよりはるかに安価です。
公開前に必ず見る項目
各 locale のパス、主要ツール、特集ページが誤って `Disallow` されていないか確認し、sitemap と canonical の到達性も見るべきです。
誤設定の多くは環境切り替えやアップグレード時に起こり、ファイルの見た目だけでは見逃されます。
ファイルではなくクロール結果を確認する
- 主要 landing page と高価値ページを crawler シミュレーションする。
- preview / staging / production 間の robots 差分をデプロイ検査に入れる。
- `X-Robots-Tag` や CDN キャッシュの上書きも同時に確認する。
実用的な入出力例
入力
User-agent: * Disallow: /
出力
crawler access: blocked indexing risk: critical