robots.txt Generator und Tester: Crawler richtig steuern
Jede Webseite wird ständig von automatischen Programmen besucht, den Crawlern oder Bots. Suchmaschinen wie Google und Bing lesen sie, um Seiten in den Index aufzunehmen. Daneben gibt es Werbe-Bots, Preisvergleichsdienste, Archivierer und zunehmend KI-Crawler, die Inhalte für Sprachmodelle einsammeln. Mit einer kleinen Textdatei namens robots.txt sagst du ihnen, welche Bereiche deiner Seite sie besuchen dürfen und welche nicht. Der robots.txt Generator von Toolyfix baut die Datei per Klick zusammen, mit Vorlagen für typische Fälle, mit Disallow, Allow, Sitemap und einem Schalter für KI-Crawler. Der Tester prüft eine vorhandene Datei: Du fügst sie ein, gibst Crawler und Adressen an, und das Tool zeigt, ob jede Adresse erlaubt oder gesperrt ist und welche Zeile entscheidet. Alles läuft in deinem Browser, ohne Anmeldung.
Funktionen
- Fünf Vorlagen: Alles erlauben, alles sperren, WordPress, Online-Shop und „Nur Google erlauben“.
- Mehrere Regelgruppen: Für jeden Crawler eigene Disallow- und Allow-Regeln und optional ein Crawl-delay.
- KI-Crawler sperren: Ein Schalter ergänzt eine Gruppe für bekannte KI-Bots wie GPTBot, ClaudeBot, CCBot und PerplexityBot.
- Sitemaps: Beliebig viele Sitemap-Adressen werden in die Datei geschrieben.
- Warnungen: Das Tool weist auf häufige Fehler hin, etwa „Disallow: /“ für alle oder fehlende Schrägstriche.
- Download: Die fertige Datei lässt sich als robots.txt speichern.
- Tester: Für jede URL ein Ergebnis mit der entscheidenden Regel, mit Unterstützung der Platzhalter * und $, und mit Syntaxprüfung der Datei.
Wie eine robots.txt aufgebaut ist
Die Datei besteht aus Gruppen. Jede Gruppe beginnt mit einer oder mehreren Zeilen „User-agent“, die den Crawler benennen. Darunter stehen die Regeln „Disallow“ für gesperrte Pfade und „Allow“ für erlaubte Ausnahmen. Ein Stern bei User-agent steht für alle Crawler. Eine leere Disallow-Zeile bedeutet, dass nichts gesperrt ist. „Disallow: /“ sperrt die komplette Seite. Zeilen mit „Sitemap“ nennen die Adresse deiner Sitemap, sie gelten unabhängig von den Gruppen. Ein Beispiel:
| Zeile | Bedeutung |
|---|---|
| User-agent: * | Die Regeln gelten für alle Crawler |
| Disallow: /intern/ | Alles unter /intern/ ist gesperrt |
| Allow: /intern/presse/ | Ausnahme: Dieser Unterordner ist erlaubt |
| Sitemap: https://deine-seite.de/sitemap.xml | Adresse der Sitemap |
Platzhalter und Regelvorrang
Googles Crawler und viele andere verstehen zwei Platzhalter. Der Stern * steht für eine beliebige Zeichenfolge, das Dollarzeichen $ markiert das Ende einer Adresse. So sperrt „Disallow: /*.pdf$“ alle Adressen, die auf .pdf enden, und „Disallow: /*?sort=“ alle Adressen mit diesem Parameter. Wenn mehrere Regeln auf eine Adresse passen, entscheidet die spezifischste, also die mit dem längsten Pfadmuster. Bei gleicher Länge gewinnt „Allow“. Der Tester wendet genau diese Regel an. Er zeigt dir die Zeile, die den Ausschlag gibt. Das ist besonders bei Ausnahmen wichtig, zum Beispiel wenn /wp-admin/ gesperrt, aber admin-ajax.php erlaubt ist.
Was robots.txt kann und was nicht
Die robots.txt steuert das Crawlen, nicht die Indexierung. Eine gesperrte Seite kann trotzdem in den Suchergebnissen auftauchen, wenn andere Seiten auf sie verlinken, dann allerdings meist ohne Beschreibung. Wer eine Seite sicher aus dem Index heraushalten will, verwendet das Meta-Tag „robots“ mit dem Wert „noindex“ oder den entsprechenden HTTP-Header. Dann muss die Seite aber erreichbar sein, damit der Crawler die Anweisung lesen kann. Eine Sperre in der robots.txt und ein noindex im Seitenquelltext schließen sich also gegenseitig aus. Wichtig außerdem: Die Datei ist öffentlich und freiwillig. Seriöse Crawler halten sich daran, Schadsoftware nicht. Verstecke deshalb nie vertrauliche Inhalte per robots.txt. Dafür gehören ein Passwortschutz und eine Zugriffskontrolle auf den Server, und die Pfade, die du sperrst, verrät die Datei jedem Besucher.
Typische Einsatzfälle
WordPress und andere Systeme
Üblich ist, den Verwaltungsbereich zu sperren und die Datei admin-ajax.php zuzulassen, weil manche Funktionen sie brauchen. Sperre keine Ordner mit Skripten und Stilen, die Google zum Darstellen der Seite braucht, denn sonst kann die Suchmaschine deine Seite nicht korrekt beurteilen.
Online-Shops
Warenkorb, Kasse, Kundenkonto und Seiten mit Filter- und Sortierparametern liefern keinen eigenen Suchwert und erzeugen viele Varianten derselben Seite. Sie lassen sich per Disallow aus dem Crawling nehmen. Die Vorlage nutzt Beispielwerte. Passe die Pfade an dein Shopsystem an.
Testseiten und Staging
Für Entwicklungsumgebungen sperrst du alles. Besser als die robots.txt allein ist ein Passwortschutz, denn er hält auch Besucher fern, und gesperrte Adressen können trotzdem bekannt werden.
KI-Crawler
Mit einer Gruppe aus bekannten Kennungen bittest du KI-Anbieter, deine Inhalte nicht für ihre Modelle zu nutzen. Die Liste im Tool enthält Beispiele wie GPTBot, ClaudeBot, CCBot und PerplexityBot. Sie ist nicht vollständig, und neue Kennungen kommen hinzu. Ob sich ein Anbieter an die Bitte hält, entscheidet er selbst. Beachte außerdem, dass „Google-Extended“ nicht das Crawlen für die Suche steuert, sondern die Nutzung für bestimmte KI-Funktionen von Google. Für die normale Suche bleibt Googlebot zuständig.
Wo liegt die robots.txt und wie lade ich sie hoch?
Die Datei muss genau robots.txt heißen, in Kleinbuchstaben, und im Hauptverzeichnis der Domain liegen, also erreichbar unter https://deine-seite.de/robots.txt. Für Unterdomains wie blog.deine-seite.de braucht jede ihre eigene Datei. Speichere sie als reinen Text in UTF-8. Google liest Dateien bis 500 Kibibyte, was darüber hinausgeht, wird ignoriert. Bei Seiten auf GitHub und Cloudflare Pages legst du die Datei in das oberste Verzeichnis des Repositorys neben die Startseite. Nach dem Hochladen rufst du die Adresse im Browser auf und prüfst, ob sie angezeigt wird. In der Google Search Console findest du einen Bericht, der zeigt, welche robots.txt Google gefunden hat und ob Fehler auftreten.
So testest du deine robots.txt
- Rufe deine robots.txt im Browser auf und kopiere den Inhalt.
- Wechsle zum Tester und füge den Text ein.
- Wähle den Crawler, zum Beispiel Googlebot oder GPTBot.
- Trage Adressen oder Pfade ein, eine pro Zeile. Du kannst vollständige URLs oder nur Pfade verwenden.
- Das Tool zeigt für jede Adresse, ob sie erlaubt oder gesperrt ist, und nennt die Zeile mit der entscheidenden Regel.
Zusätzlich prüft der Tester die Syntax. Er meldet unbekannte Anweisungen, Regeln ohne vorherigen User-agent, unvollständige Sitemap-Adressen und das nicht mehr unterstützte „Noindex“.
Typische Fehler und Lösungen
Meine ganze Seite ist plötzlich nicht mehr bei Google
Prüfe, ob „Disallow: /“ für alle Crawler in der Datei steht. Das passiert oft, wenn eine Testseite live geht und die Sperre bleibt. Entferne die Zeile und lade die Datei neu hoch.
Eine Regel greift nicht
Kontrolliere Groß- und Kleinschreibung. Pfade unterscheiden sie, die Anweisungen nicht. Prüfe auch, ob eine spezifischere Allow-Regel die Sperre überschreibt.
Google zeigt trotz Sperre weiterhin die Seite
Die Sperre verhindert nur das Crawlen. Nutze noindex, und lasse die Seite dafür crawlbar.
Bilder oder Stile fehlen in der Vorschau
Wahrscheinlich sind Ordner mit Ressourcen gesperrt. Erlaube sie, damit Suchmaschinen die Seite so sehen wie Besucher.
Mein Crawl-delay wirkt nicht
Google ignoriert diese Anweisung. Die Crawlrate steuerst du bei Google über die Search Console oder über die Serverleistung.
Häufige Fragen zur robots.txt
Brauche ich eine robots.txt?
Nicht zwingend. Ohne Datei dürfen Crawler alles besuchen. Sinnvoll ist sie, sobald du Bereiche aussparen oder die Sitemap nennen willst.
Ist der Generator kostenlos?
Ja, ohne Anmeldung und ohne Einschränkung.
Kann ich einzelne Seiten sperren?
Ja, mit „Disallow: /seite.html“. Für den Ausschluss aus dem Index nutze zusätzlich noindex.
Was passiert bei einem Fehler in der Datei?
Crawler ignorieren ungültige Zeilen meist, was zu unerwarteten Ergebnissen führen kann. Prüfe die Datei deshalb mit dem Tester.
Wo trage ich die Sitemap ein?
In der robots.txt mit „Sitemap: https://…“ und zusätzlich in der Google Search Console.
Weitere SEO-Werkzeuge findest du oben unter „Passende Tools“, zum Beispiel Open Graph Checker, Slug Generator und Link Generator.
