Cluster C3: Netzwerk und Sicherheit
Robots.txt-Testcheckliste
Eine falsche robots-Regel kann wichtige Seiten sofort aus der Crawl-Pipeline nehmen. Vorabtests sind deutlich günstiger als spätere Indexierungsverluste.
Pflichtprüfungen vor dem Release
Zuerst sicherstellen, dass Locale-Pfade, Toolseiten und Cluster-Inhalte nicht versehentlich global blockiert werden, und zugleich Sitemap sowie Canonical-Erreichbarkeit prüfen.
Viele Fehler entstehen bei Umgebungswechseln oder Framework-Upgrades und werden im Dateitext allein nicht sichtbar.
Nicht nur die Datei, sondern das Crawl-Ergebnis prüfen
- Wichtige Landing Pages und Tool-Routen mit einem Crawler simulieren.
- Robots-Unterschiede zwischen Preview, Staging und Produktion in den Deployment-Check aufnehmen.
- `X-Robots-Tag` und Header-Umschreibungen durch CDN oder Cache mitprüfen.
Praktisches Ein-/Ausgabe-Beispiel
Eingabe
User-agent: * Disallow: /
Ausgabe
crawler access: blocked indexing risk: critical