Robots.txt Checker
Geben Sie eine Domain ein – wir rufen die robots.txt automatisch ab und erklären in verständlicher Sprache, was sie bewirkt, wo Suchmaschinen blockiert werden und was noch fehlt.
Kostenlos, ohne Anmeldung. Es werden keine geprüften Domains gespeichert.
Was ist eine robots.txt?
Die robots.txt ist eine einfache Textdatei im Stammverzeichnis einer Domain
(z. B. https://beispiel.de/robots.txt), über die Website-Betreiber
Suchmaschinen-Crawlern Empfehlungen geben können, welche Bereiche der Website gecrawlt
werden dürfen und welche nicht. Sie ersetzt keine Zugriffskontrolle – seriöse
Suchmaschinen halten sich in der Regel daran, andere Bots können sie ignorieren.
Häufig gestellte Fragen
Kann eine robots.txt meine Seite vor Google verstecken?
Ein „Disallow" verhindert nur das Crawlen. Bereits indexierte Seiten können trotzdem in den Suchergebnissen auftauchen, meist ohne Beschreibungstext. Für eine sichere Ausschließung aus dem Index ist ein „noindex"-Meta-Tag oder Header nötig.
Muss jede Website eine robots.txt haben?
Nein. Fehlt die Datei, dürfen Crawler standardmäßig alles crawlen. Eine robots.txt ist aber sinnvoll, um z. B. Admin-Bereiche auszuschließen oder auf die Sitemap zu verweisen.
Was bedeutet „Disallow: /"?
Diese Regel blockiert die komplette Website für den angegebenen Crawler. Steht sie unter „User-agent: *", betrifft das alle Suchmaschinen – ein häufiger, ungewollter Fehler nach einem Relaunch.