클러스터 C3: 네트워크 및 보안
Robots.txt 테스트 체크리스트
잘못된 robots 규칙 하나만으로도 핵심 페이지가 바로 크롤링 대상에서 빠질 수 있습니다. 배포 전 검증이 사후 복구보다 훨씬 싸게 먹힙니다.
배포 전에 반드시 확인할 규칙
locale 경로, 핵심 도구 페이지, 주제 페이지가 전역 `Disallow` 에 걸리지 않았는지 먼저 확인하고 sitemap 과 canonical 접근성도 봐야 합니다.
많은 오차단은 환경 전환이나 프레임워크 업그레이드 때 발생하며, 파일 내용만 보면 놓치기 쉽습니다.
파일보다 실제 크롤링 결과를 보세요
- 핵심 landing page 와 고가치 도구 페이지를 crawler 시뮬레이션합니다.
- preview / staging / production 간 robots 차이를 배포 점검에 포함합니다.
- 이상 시 `X-Robots-Tag` 와 CDN/캐시 헤더 덮어쓰기도 함께 확인합니다.
실무 입력/출력 예시
입력
User-agent: * Disallow: /
출력
crawler access: blocked indexing risk: critical