robots.txt-Tester
Laden Sie die robots.txt einer Website oder fügen Sie Ihre eigene ein, geben Sie eine URL ein und wählen Sie einen Crawler. Sie erhalten ein klares Urteil, die Zeile, die es entschieden hat, und denselben Test für zwölf große Crawler auf einmal.
Jedes Crawler-Token funktioniert. Tippen Sie es einfach ein, wenn der gewünschte Crawler nicht in der Liste steht.
Eingefügte Regeln werden vollständig in Ihrem Browser ausgewertet. Beim Laden einer robots.txt von einer Domain holt unser Server nur diese eine öffentliche Datei; gespeichert wird nichts.
So funktioniert das Matching in der robots.txt wirklich
Eine robots.txt besteht aus Gruppen. Jede Gruppe beginnt mit einer oder mehreren User-agent-Zeilen und enthält die Allow- und Disallow-Regeln für diese Crawler. Ein Crawler liest nur die Gruppe, die zu seinem eigenen Produkt-Token passt, und zusätzlich die Sammelgruppe, wenn keine benannte Gruppe zutrifft. Regeln für Googlebot haben deshalb keinerlei Wirkung auf GPTBot.
Passen mehrere Regeln einer Gruppe auf dieselbe URL, gewinnt die spezifischste: die Regel, deren Muster die meisten Zeichen abdeckt. Sind Allow und Disallow gleich lang, gewinnt Allow. Diese Reihenfolge stammt aus RFC 9309, dem standardisierten Robots Exclusion Protocol, und genau deshalb bleibt bei Disallow: /admin/ plus Allow: /admin/public/ der öffentliche Ordner crawlbar.
In Mustern werden zwei Platzhalter unterstützt. Ein Sternchen steht für eine beliebige Folge von Zeichen, ein Dollarzeichen verankert das Muster am Ende der URL. Bei Pfaden zählt die Groß- und Kleinschreibung, bei Crawler-Namen nicht, und eine robots.txt gilt immer nur für ihr eigenes Schema, ihren Host und ihren Port: Die Datei auf der www-Subdomain deckt die Domain ohne www nicht ab.
Was der Tester ausgibt
- Urteil für den gewählten Crawler, samt der genauen Regel und der Zeilennummer dahinter
- Dieselbe URL, gegen zwölf Crawler auf einmal getestet: Suchmaschinen-Bots und KI-Bots nebeneinander
- Welche Gruppe gegriffen hat, inklusive Hinweis, ob es eine benannte Gruppe oder die Sammelgruppe war
- Jede Sitemap-Zeile, die in der Datei deklariert ist
- Parser-Warnungen: Regeln vor der ersten User-agent-Zeile, nicht unterstützte Direktiven, absolute URLs in Disallow, fehlende Sitemap
KI-Readiness-Checker
Können ChatGPT, Claude und Perplexity Ihre Website lesen und zitieren? Prüft llms.txt, KI-Crawler-Regeln in der robots.txt, strukturierte Daten und Metadaten.
KI-Readiness prüfen →Aus dem Blog
Zehn Hreflang-Fehler, die internationales SEO ruinieren
Zehn Fehler stecken hinter fast jedem kaputten Hreflang-Setup – und die meisten davon scheitern lautlos. So erkennen und beheben Sie jeden einzelnen.
robots.txtrobots.txt für KI-Crawler: Erlauben und Sperren
Drei Rezepte und eine Tabelle Bot für Bot, um GPTBot, ClaudeBot, PerplexityBot und die übrigen aus einer kleinen Textdatei zu steuern.
SitemapsXML-Sitemap-Fehler beheben: Ursachen und Lösungen
Die meisten Sitemap-Fehler gehen auf eine Handvoll wiederkehrender Ursachen zurück. Dieser Guide zeigt für jede das Symptom, die Ursache und die konkrete Korrektur.