Robots.txt, Meta-Robots-Tag und X-Robots-Tag klingen ähnlich und werden oft verwechselt – steuern aber unterschiedliche Dinge. Wer sie durcheinanderbringt, riskiert entweder ungewollt sichtbare oder ungewollt unsichtbare Seiten in der Suche.

Drei Namen, drei verschiedene Zwecke

Robots.txt, Meta-Robots-Tag und X-Robots-Tag tauchen in Diskussionen häufig synonym auf, obwohl sie technisch komplett unterschiedliche Mechanismen sind: eine zentrale Datei, ein HTML-Tag pro Seite und ein HTTP-Header pro Anfrage. Diese begriffliche Unschärfe ist einer der Hauptgründe, warum in der Praxis so oft die falsche Methode für ein bestimmtes Ziel gewählt wird – etwa der Versuch, eine Seite über robots.txt „aus Google zu entfernen", obwohl dafür eigentlich ein noindex-Tag nötig wäre.

Die zentrale Unterscheidung: Crawling vs. Indexierung

Der wichtigste Unterschied vorweg: Robots.txt steuert das Crawlen (also, ob eine Seite überhaupt besucht wird), während Meta-Robots-Tag und X-Robots-Tag die Indexierung steuern (also, ob eine bereits besuchte Seite in den Suchergebnissen erscheinen darf). Diese Unterscheidung ist der Schlüssel zu vielen Missverständnissen.

🧰 Prüfen Sie, was Ihre robots.txt tatsächlich steuert

Der Checker zeigt verständlich, welche Bereiche Ihrer Website vom Crawling ausgeschlossen sind. Jetzt kostenlos prüfen →

Robots.txt im Detail

Die robots.txt ist eine zentrale Datei im Stammverzeichnis der Domain. Sie kann Crawlern empfehlen, bestimmte Bereiche gar nicht erst zu besuchen. Das spart Crawling-Budget, verhindert aber nicht zuverlässig eine Indexierung: Verweist eine andere Website auf eine per robots.txt gesperrte Seite, kann diese Seite trotzdem – meist ohne Beschreibungstext – in den Suchergebnissen auftauchen, weil Google ihre URL kennt, den Inhalt aber nie geladen hat.

Weitere Werte des Meta-Robots-Tags

Neben noindex und nofollow gibt es weitere, seltener genutzte Werte: noarchive verhindert die Anzeige einer zwischengespeicherten Version in den Suchergebnissen, nosnippet unterdrückt Textauszüge und Vorschaubilder, und noimageindex schließt Bilder der Seite von der Google-Bildersuche aus, ohne die restliche Seite zu beeinträchtigen. Mehrere Werte lassen sich kommagetrennt kombinieren, etwa content="noindex, nofollow, noarchive".

Meta-Robots-Tag im Detail

Der Meta-Robots-Tag wird im <head>-Bereich einer einzelnen HTML-Seite eingebunden:

<meta name="robots" content="noindex, follow">

noindex weist Suchmaschinen an, die Seite nicht in den Index aufzunehmen – vorausgesetzt, die Seite wird überhaupt gecrawlt (sie darf also nicht gleichzeitig per robots.txt gesperrt sein, sonst sieht der Crawler das Tag nie). follow bzw. nofollow steuert zusätzlich, ob ausgehenden Links auf der Seite gefolgt werden soll.

X-Robots-Tag im Detail

Der X-Robots-Tag erfüllt denselben Zweck wie der Meta-Robots-Tag, wird aber als HTTP-Response-Header statt als HTML-Tag ausgeliefert:

X-Robots-Tag: noindex

Das hat einen entscheidenden Vorteil: Er funktioniert auch für Dateitypen, die keinen HTML- <head>-Bereich besitzen, etwa PDF-Dokumente, Bilder oder andere Downloads – Bereiche, in denen ein klassischer Meta-Tag technisch gar nicht einsetzbar wäre.

Die klassische Verwechslung: „noindex" in robots.txt

Früher unterstützte Google inoffiziell auch eine noindex-Direktive direkt in der robots.txt. Diese Unterstützung wurde jedoch offiziell eingestellt – wer heute Noindex: /seite/ in seine robots.txt schreibt, kann sich nicht darauf verlassen, dass Google (oder andere große Suchmaschinen) das tatsächlich noch berücksichtigt. Für eine zuverlässige Index-Steuerung sind Meta-Robots-Tag oder X-Robots-Tag die richtige Wahl.

Praxisbeispiel: Verlag „Media Druck & Digital"

Ein fiktiver Verlag wollte verhindern, dass interne PDF-Vorschauen von Zeitschriften in der Google-Bildersuche und den regulären Suchergebnissen auftauchen, gleichzeitig aber weiterhin für Leser über einen direkten Link erreichbar bleiben. Da PDF-Dateien keinen HTML-<head> besitzen, war ein klassischer Meta-Robots-Tag nicht einsetzbar. Die Lösung: ein serverseitig konfigurierter X-Robots-Tag-Header speziell für den PDF-Ordner, während die robots.txt selbst unverändert blieb und den Ordner weiterhin crawlbar ließ (damit der Header überhaupt gesehen werden kann).

Wann welches Mittel einsetzen?

  • Robots.txt: Ganze Verzeichnisse oder URL-Muster vom Crawling ausschließen, um Crawling-Budget zu sparen (z. B. interne Suchergebnisseiten, Warenkorb, Admin-Bereich).
  • Meta-Robots-Tag: Einzelne HTML-Seiten gezielt von der Indexierung ausschließen, während sie weiterhin gecrawlt und ggf. verlinkt werden dürfen (z. B. Dankeseiten nach einem Formular).
  • X-Robots-Tag: Nicht-HTML-Dateien (PDF, Bilder, Downloads) von der Indexierung ausschließen oder serverweite Regeln für ganze Verzeichnisse per Konfiguration statt pro Seite setzen.

Canonical-Tag als dritte Dimension

Neben Crawling- und Index-Steuerung gibt es noch eine dritte, oft verwechselte Dimension: das rel="canonical"-Tag. Es entscheidet nicht, ob eine Seite gecrawlt oder indexiert wird, sondern welche von mehreren ähnlichen URL-Varianten als die „bevorzugte" Version gelten soll. Ein typisches Zusammenspiel: Mehrere Filterkombinationen eines Produkts dürfen weiterhin gecrawlt werden (kein Disallow), tragen aber alle ein Canonical-Tag auf die neutrale Basis-URL – so werden Duplicate- Content-Probleme vermieden, ohne das Crawling unnötig einzuschränken.

Wie Suchmaschinen mit widersprüchlichen Signalen umgehen

Erhält eine Suchmaschine für dieselbe URL widersprüchliche Signale – etwa ein Canonical-Tag auf eine andere URL, gleichzeitig aber einen internen Link-Fokus genau auf diese vermeintlich nicht-kanonische Version – trifft der Algorithmus eine eigene, nicht immer vorhersehbare Entscheidung, welches Signal stärker gewichtet wird. Konsistenz zwischen allen technischen Signalen (Canonical, interne Verlinkung, Sitemap-Eintrag, robots.txt) reduziert dieses Risiko erheblich und erleichtert der Suchmaschine eine eindeutige, vorhersehbare Bewertung.

Zusammenspiel aller drei Mechanismen in der Praxis

Eine durchdachte technische SEO-Struktur nutzt üblicherweise alle drei Mechanismen gezielt kombiniert: robots.txt für ganze Bereiche ohne jeglichen Mehrwert für Suchmaschinen (z. B. interne Suchergebnisseiten), Meta-Robots-Tag für einzelne HTML-Seiten mit Mehrwert für Nutzer, aber nicht für die Suche (z. B. Dankeseiten), X-Robots-Tag für Nicht-HTML-Dateien mit demselben Zweck, und Canonical-Tags für inhaltlich nahezu identische URL-Varianten, die alle crawlbar bleiben sollen.

Häufiger Praxisfehler: Blockierte CSS- und JavaScript-Dateien

Ein früher verbreiteter, heute meist vermiedener Fehler ist das pauschale Blockieren ganzer Asset-Verzeichnisse (/css/, /js/) über robots.txt. Da moderne Suchmaschinen Seiten zur Bewertung tatsächlich rendern, benötigen sie Zugriff auf CSS und JavaScript, um das tatsächliche, für Nutzer sichtbare Layout korrekt zu erfassen. Werden diese Ressourcen blockiert, kann das die Bewertung der Seite negativ beeinflussen, weil der Crawler die Seite nur unvollständig darstellen kann.

Dieser Fehler entsteht oft aus einer veralteten, pauschal übernommenen robots.txt-Vorlage aus einer Zeit, in der Suchmaschinen Seiten noch nicht vollständig rendern konnten und CSS/JS-Verzeichnisse generell als „für Crawler irrelevant" galten. Ein Blick in die Google Search Console, konkret in die URL-Prüfung mit gerenderter Vorschau, zeigt zuverlässig, ob wichtige Ressourcen tatsächlich geladen und korrekt dargestellt werden konnten.

Auswirkungen auf strukturierte Daten und Rich Snippets

Wird eine Seite per robots.txt vom Crawling ausgeschlossen, kann Google auch die auf dieser Seite hinterlegten strukturierten Daten (z. B. Schema.org-Markup für Rezensionen, Produkte oder FAQs) nicht auslesen – unabhängig davon, wie sorgfältig dieses Markup gepflegt wurde. Für Seiten, die von Rich Snippets in den Suchergebnissen profitieren sollen, ist daher besonders wichtig, dass sie tatsächlich crawlbar bleiben und die Index-Steuerung ausschließlich über Meta-Robots- oder X-Robots-Tag erfolgt, falls überhaupt eine Einschränkung gewünscht ist.

Testwerkzeuge für die eigene Konfiguration

Um zu prüfen, welche Steuerungsmechanismen auf einer bestimmten URL tatsächlich aktiv sind, hilft ein Blick in drei Quellen gleichzeitig: die robots.txt der Domain, der HTML-Quelltext der betroffenen Seite (Suche nach meta name="robots") sowie die tatsächlichen HTTP-Response-Header der Seite (Suche nach X-Robots-Tag). Erst die Kombination aller drei Quellen ergibt ein vollständiges Bild davon, wie eine einzelne URL von Suchmaschinen tatsächlich behandelt wird.

Gerade bei größeren Websites mit mehreren beteiligten Teams (Entwicklung, Marketing, SEO) empfiehlt sich ein regelmäßiger, dokumentierter Abgleich aller drei Quellen für die wichtigsten URL-Typen der Website, da Änderungen an einer Stelle (z. B. ein neues SEO-Plugin, das automatisch Meta-Tags setzt) leicht unbemerkt mit bestehenden Regeln an anderer Stelle in Konflikt geraten können.

Häufig gestellte Fragen

Kann ich robots.txt und noindex gleichzeitig für dieselbe Seite nutzen?

Das ist ein klassischer Fehler: Ist eine Seite per robots.txt gesperrt, sieht der Crawler das noindex-Tag auf der Seite nie, weil er die Seite gar nicht erst lädt. Für eine zuverlässige Index-Entfernung darf die Seite crawlbar bleiben, aber ein noindex-Tag tragen.

Wirkt der X-Robots-Tag auch bei HTML-Seiten?

Ja, er ist funktional gleichwertig zum Meta-Robots-Tag, wird aber häufiger für Nicht-HTML-Inhalte eingesetzt, da er dort die einzige praktikable Option ist.

Was passiert, wenn Meta-Robots-Tag und X-Robots-Tag widersprüchliche Angaben machen?

In der Praxis sollte diese Situation vermieden werden. Suchmaschinen greifen in solchen Fällen auf eigene, nicht immer transparente Priorisierungslogiken zurück – eindeutige, konsistente Angaben sind daher immer vorzuziehen.

Ersetzt ein Canonical-Tag die Notwendigkeit von Disallow-Regeln?

Nein, beide erfüllen unterschiedliche Zwecke und ergänzen sich – Canonical für crawlbare Duplikate, Disallow für Bereiche, die gar nicht erst besucht werden sollen.

Welches Mittel hat die höchste Priorität, wenn mehrere gleichzeitig greifen?

Grundsätzlich verhindert eine robots.txt-Sperre, dass die anderen beiden Mechanismen überhaupt zum Tragen kommen, da die Seite dann gar nicht erst geladen wird. Sind Meta-Robots-Tag und X-Robots-Tag gleichzeitig gesetzt und widersprechen sich, gilt üblicherweise die restriktivere Angabe.

Fazit

Robots.txt, Meta-Robots-Tag und X-Robots-Tag lösen unterschiedliche Aufgaben: Crawling-Steuerung auf der einen, Index-Steuerung auf der anderen Seite. Wer beide Ebenen sauber trennt, vermeidet die klassische Falle, eine Seite gleichzeitig zu sperren und per noindex verstecken zu wollen – was sich gegenseitig aushebelt.