Von Alexander Hettinger · 26. Juli 2026
Drei ähnlich klingende, aber unterschiedlich wirkende Steuerungsmechanismen für Suchmaschinen-Crawler im direkten Vergleich.
Weiterlesen →Blog & Ratgeber
Praxisnahe Artikel rund um robots.txt, Crawling-Steuerung und Suchmaschinen-Indexierung.
Von Alexander Hettinger · 26. Juli 2026
Die häufigsten robots.txt-Fehler in der Praxis und eine Schritt-für-Schritt-Anleitung, um Ihre eigene Datei systematisch zu testen.
Weiterlesen →Von Alexander Hettinger · 26. Juli 2026
Wie der Sitemap-Verweis in der robots.txt funktioniert, wie mehrere Sitemaps kombiniert werden und welche Fehler die Auffindbarkeit verschlechtern.
Weiterlesen →Von Alexander Hettinger · 26. Juli 2026
Wie Disallow und Allow zusammenspielen, welche Regel bei Konflikten gewinnt und wie Sie beide Direktiven gezielt kombinieren.
Weiterlesen →Von Alexander Hettinger · 26. Juli 2026
Was eine robots.txt ist, wie sie aufgebaut ist und welche Direktiven es gibt – mit praktischen Beispielen zum Nachbauen.
Weiterlesen →