Neben Disallow und Allow gehört der Sitemap-Verweis zu den wichtigsten Einträgen einer robots.txt. Er hilft Suchmaschinen, alle relevanten Seiten einer Website zuverlässig zu finden – unabhängig von der internen Verlinkung.

Zwei getrennte, aber verwandte Konzepte

Robots.txt und Sitemap verfolgen auf den ersten Blick entgegengesetzte Ziele: Die eine Datei schränkt das Crawlen ein, die andere lädt aktiv dazu ein, möglichst viele URLs zu entdecken. Zusammen ergeben sie aber ein stimmiges Gesamtbild: robots.txt sagt „das hier ist für euch nicht relevant", die Sitemap sagt „aber das hier solltet ihr euch unbedingt ansehen". Der Verweis auf die Sitemap innerhalb der robots.txt verbindet beide Konzepte technisch an einer zentralen, für jeden Crawler leicht auffindbaren Stelle.

Wer beide Dateien isoliert voneinander pflegt – etwa weil unterschiedliche Personen oder Tools dafür zuständig sind – riskiert, dass Änderungen an der einen Datei nicht konsistent in der anderen nachvollzogen werden. Ein neu gesperrter Bereich in der robots.txt etwa sollte im gleichen Zug auch aus der Sitemap entfernt werden, da ein Sitemap-Eintrag für eine gleichzeitig per Disallow gesperrte URL ein widersprüchliches Signal an Suchmaschinen sendet.

Warum der Sitemap-Verweis in der robots.txt sinnvoll ist

Suchmaschinen können Sitemaps zwar auch direkt über die Google Search Console oder das Bing Webmaster Tool eingereicht bekommen, doch ein zusätzlicher Verweis in der robots.txt hat einen entscheidenden Vorteil: Er wird automatisch von jedem Crawler gefunden, der die robots.txt ohnehin abruft – auch von Suchmaschinen, bei denen keine manuelle Search-Console-Einreichung erfolgt ist.

Die korrekte Syntax

Sitemap: https://beispiel.de/sitemap.xml

Wichtig: Der Wert muss eine vollständige, absolute URL sein, inklusive Protokoll (https://). Eine relative Angabe wie Sitemap: /sitemap.xml wird von vielen Crawlern nicht korrekt verarbeitet.

🧰 Ist Ihr Sitemap-Verweis korrekt?

Der Checker prüft, ob Ihre robots.txt einen gültigen, absoluten Sitemap-Verweis enthält. Jetzt kostenlos prüfen →

Warum Suchmaschinen die Sitemap nicht blind vertrauen

Eine Sitemap ist für Suchmaschinen ein starkes, aber kein absolutes Signal. URLs aus der Sitemap werden nicht automatisch garantiert indexiert – Google prüft weiterhin eigenständig Relevanz, Qualität und technische Erreichbarkeit jeder einzelnen URL. Eine Sitemap ersetzt also keine gute interne Verlinkung und keine hochwertigen Inhalte, sondern ergänzt beides lediglich um eine zusätzliche, zuverlässige Entdeckungsquelle für den Crawler.

Mehrere Sitemaps gleichzeitig verweisen

Größere Websites mit mehreren Content-Typen (z. B. Produkte, Blog, Bilder) können mehrere Sitemap-Zeilen gleichzeitig angeben:

Sitemap: https://beispiel.de/sitemap-produkte.xml
Sitemap: https://beispiel.de/sitemap-blog.xml
Sitemap: https://beispiel.de/sitemap-bilder.xml

Alternativ – und bei sehr vielen Sitemaps üblich – lässt sich eine Sitemap-Index-Datei verwenden, die selbst wiederum auf mehrere einzelne Sitemaps verweist. In der robots.txt wird dann nur diese eine Index-Datei referenziert.

Position in der Datei spielt keine Rolle

Anders als Disallow/Allow ist die Sitemap-Direktive nicht an eine bestimmte User-agent-Gruppe gebunden. Sie gilt global, unabhängig davon, an welcher Stelle der Datei sie steht – ob ganz oben, ganz unten oder zwischen zwei Gruppen.

Praxisbeispiel: Reiseportal „Reiseglück"

Ein fiktives Reiseportal mit getrennten Bereichen für Reiseziele, Blog-Artikel und Nutzer-Bewertungen hatte lange nur eine einzige, veraltete Sitemap-Datei referenziert, die neue Blog-Artikel gar nicht mehr enthielt. Die Lösung: Umstellung auf eine automatisch generierte Sitemap-Index-Datei, die bei jeder Veröffentlichung eines neuen Artikels automatisch aktualisiert wird, kombiniert mit einem entsprechend aktuellen Verweis in der robots.txt. Innerhalb weniger Wochen wurden in der Google Search Console deutlich mehr neu entdeckte URLs gemeldet als zuvor.

Häufige Fehler beim Sitemap-Verweis

  • Relative statt absolute URL: /sitemap.xml statt der vollständigen URL mit Protokoll und Domain.
  • Falsches Protokoll: Verweis auf http://, während die Website längst auf https:// umgestellt wurde.
  • Veraltete oder tote Sitemap-URL: Der Verweis zeigt auf eine Datei, die gar nicht mehr existiert oder einen 404-Fehler liefert.
  • Sitemap enthält nicht-kanonische URLs: Die Sitemap listet URLs, die eigentlich auf eine andere, kanonische Version verweisen sollten – das kann zu widersprüchlichen Signalen an Suchmaschinen führen.

Sitemap-Verweis vs. Search-Console-Einreichung

Beide Wege schließen sich nicht aus, sondern ergänzen sich sinnvoll: Der Eintrag in der robots.txt sorgt dafür, dass auch Crawler ohne manuelle Einreichung die Sitemap finden, während eine zusätzliche Einreichung in der Google Search Console detailliertere Statusinformationen liefert (z. B. wie viele URLs aus der Sitemap tatsächlich indexiert wurden).

Sitemap-Index-Dateien im Detail

Eine Sitemap-Index-Datei ist im Prinzip eine „Sitemap der Sitemaps": Statt einzelner URLs enthält sie Verweise auf mehrere andere Sitemap-Dateien, üblicherweise nach Inhaltstyp getrennt. Das ist vor allem deshalb sinnvoll, weil eine einzelne Sitemap-Datei laut Spezifikation auf maximal 50.000 URLs bzw. 50 Megabyte unkomprimierte Größe begrenzt ist. Größere Websites müssen ihre URLs daher zwangsläufig auf mehrere Dateien aufteilen und diese über eine Index-Datei bündeln, auf die dann in der robots.txt verwiesen wird.

Die meisten modernen CMS-Systeme und Sitemap-Generatoren übernehmen diese Aufteilung automatisch, sobald die Grenze von 50.000 URLs überschritten wird – eine manuelle Aufteilung ist daher in der Praxis selten nötig, sollte aber zumindest einmal stichprobenartig kontrolliert werden.

HTML-Sitemaps als ergänzende Nutzer-Navigation

Neben der XML-Sitemap für Suchmaschinen bieten manche Websites zusätzlich eine für Menschen lesbare Sitemap-Seite an – eine einfache, verlinkte Übersichtsseite aller wichtigen Bereiche. Diese hat keinen direkten Bezug zum Sitemap-Eintrag in der robots.txt, kann aber indirekt helfen, indem sie zusätzliche interne Links auf wichtige Unterseiten schafft und damit deren Auffindbarkeit über die reguläre Linkstruktur der Website zusätzlich verbessert.

Für sehr kleine Websites mit wenigen Dutzend Seiten kann eine solche HTML-Sitemap sogar die XML-Variante in ihrer praktischen Bedeutung übertreffen, da die interne Verlinkung allein häufig schon ausreicht, damit Suchmaschinen alle Seiten zuverlässig finden. Bei wachsender Seitenzahl verliert dieser Effekt jedoch an Zuverlässigkeit, weshalb eine XML-Sitemap mit Verweis in der robots.txt langfristig die robustere Lösung bleibt.

Bilder- und News-Sitemaps

Neben der klassischen URL-Sitemap gibt es spezialisierte Formate: Bilder-Sitemaps enthalten zusätzliche Metadaten zu eingebetteten Bildern einer Seite, News-Sitemaps sind speziell für Nachrichtenportale gedacht und enthalten unter anderem Veröffentlichungsdatum und Schlagworte. Beide Varianten lassen sich ebenfalls über eine eigene Sitemap-Zeile in der robots.txt referenzieren oder in eine gemeinsame Sitemap-Index-Datei einbinden.

Komprimierung großer Sitemaps

Um die Dateigröße bei sehr vielen URLs zu reduzieren, lässt sich eine Sitemap zusätzlich als sitemap.xml.gz gzip-komprimiert bereitstellen. Der Verweis in der robots.txt zeigt dann direkt auf die komprimierte Datei. Die meisten großen Suchmaschinen unterstützen das automatische Entpacken beim Abruf, was insbesondere bei sehr großen Websites Bandbreite und Ladezeit beim Crawling spart.

Sitemaps und Crawling-Priorität

Eine Sitemap kann zusätzlich optionale Angaben zu lastmod (letztes Änderungsdatum), changefreq (erwartete Änderungshäufigkeit) und priority (relative Priorität innerhalb der eigenen Sitemap) enthalten. Google gibt inzwischen offen an, den priority- und changefreq-Werten kaum noch Bedeutung beizumessen, während ein korrektes lastmod-Datum weiterhin als nützliches Signal gilt, um kürzlich geänderte Seiten schneller erneut zu crawlen. Es lohnt sich daher, zumindest dieses Feld automatisiert und verlässlich zu pflegen, statt sich auf die anderen, kaum noch wirksamen Felder zu konzentrieren.

Sitemap-Fehler in der Search Console erkennen

Nach dem Einreichen einer Sitemap zeigt die Google Search Console detaillierte Statusinformationen an, etwa wie viele der enthaltenen URLs tatsächlich indexiert wurden und ob es zu Verarbeitungsfehlern kam (z. B. ungültiges XML, nicht erreichbare URLs). Ein regelmäßiger Blick in diesen Bericht ergänzt die reine Existenzprüfung des Sitemap-Verweises in der robots.txt um konkrete, datengestützte Hinweise auf tatsächliche Indexierungsprobleme.

Ein häufig unterschätzter Bericht in diesem Zusammenhang ist die Unterscheidung zwischen „gesendeten" und „indexierten" URLs: Eine große Lücke zwischen beiden Zahlen deutet meist nicht auf ein robots.txt-Problem hin, sondern auf Qualitäts- oder Relevanzeinschätzungen der Suchmaschine selbst – ein wichtiger Unterschied, um die richtige Ursache für eine geringere Sichtbarkeit zu identifizieren.

Häufig gestellte Fragen

Muss der Sitemap-Verweis unter „User-agent: *" stehen?

Nein, die Sitemap-Direktive ist unabhängig von User-agent-Gruppen und gilt global für die gesamte Datei.

Kann ich auf eine Sitemap auf einer anderen Domain verweisen?

Technisch ist das möglich, wird aber nicht von allen Suchmaschinen unterstützt und ist unüblich – üblicherweise liegt die Sitemap auf derselben Domain wie die robots.txt.

Was, wenn ich gar keine Sitemap habe?

Dann lohnt es sich, zunächst eine XML-Sitemap zu erstellen (viele CMS bieten das automatisch an) und anschließend den Verweis in der robots.txt zu ergänzen.

Wie oft sollte die Sitemap aktualisiert werden?

Idealerweise automatisch bei jeder neuen oder geänderten Seite, damit Suchmaschinen stets eine aktuelle Übersicht erhalten, statt auf eine manuell gepflegte, schnell veraltende Liste angewiesen zu sein.

Muss ich die Sitemap zusätzlich manuell einreichen?

Nicht zwingend, aber empfehlenswert: Die manuelle Einreichung in der Google Search Console liefert zusätzlich detaillierte Statusinformationen, die der reine Verweis in der robots.txt allein nicht bietet.

Fazit

Ein korrekter, aktueller Sitemap-Verweis in der robots.txt ist eine der einfachsten Maßnahmen, um Suchmaschinen die vollständige Erfassung einer Website zu erleichtern – vorausgesetzt, die URL ist absolut, aktuell und tatsächlich erreichbar.