Erstelle in wenigen Klicks eine fehlerfreie robots.txt – steuere gezielt, welche Suchmaschinen und KI-Crawler wie ChatGPT deine Website durchsuchen dürfen.
Wähle aus, welche KI-Bots deine Inhalte NICHT fürs Training oder für KI-Antworten nutzen dürfen.
Diese Ordner werden per Disallow für User-agent: * gesperrt – unabhängig von der Grundregel oben.
Nützlich, um einzelne Unterpfade innerhalb eines gesperrten Verzeichnisses wieder freizugeben.
Wird von Google ignoriert, von manchen anderen Crawlern aber respektiert. Nur bei Serverlast-Problemen sinnvoll.
Lade die Datei anschließend unverändert als robots.txt in das Hauptverzeichnis deiner Domain hoch (nicht in einen Unterordner) – erreichbar unter deinedomain.de/robots.txt.
Der Robots.txt Builder von Evolix Media ist ein kostenloses Online-Tool, mit dem Website-Betreiber in wenigen Klicks eine fehlerfreie robots.txt-Datei erstellen. Die Datei legt fest, welche Suchmaschinen-Crawler wie Googlebot oder Bingbot und welche KI-Crawler wie GPTBot, ClaudeBot oder PerplexityBot eine Website durchsuchen dürfen – und welche Bereiche tabu sind.
Das Tool richtet sich an alle, die eine Website betreiben: von Einsteigern, die die korrekte Syntax nicht auswendig kennen, bis zu erfahrenen SEOs und Agenturen, die schnell eine saubere, individuell angepasste Datei erzeugen möchten, ohne das Risiko eines folgenschweren Tippfehlers.
Die robots.txt ist die erste Datei, die ein Crawler beim Besuch einer Domain abruft. Ein einziger falscher Befehl – etwa ein Disallow: / unter User-agent: * – kann die gesamte Website versehentlich aus der Google-Suche verbannen. Ein Baukasten-Tool minimiert dieses Risiko, weil die Syntax automatisch korrekt erzeugt wird.
Seit dem Aufstieg generativer KI-Systeme fragen sich immer mehr Website-Betreiber, ob Bots wie GPTBot ihre Inhalte fürs KI-Training verwenden dürfen. Der Builder listet die gängigen KI-Crawler einzeln auf, sodass jeder Bot individuell blockiert oder zugelassen werden kann – unabhängig von der Regel für klassische Suchmaschinen-Crawler.
Die erzeugte Datei ist von oben nach unten aufgebaut, und die Reihenfolge hat Bedeutung. Vier Dinge solltest du vor dem Hochladen prüfen.
User-agent: * gilt für alle, die nicht eigens genannt sindSteht dort Disallow: /, ist deine gesamte Website für alle Crawler gesperrt, die keinen eigenen Block haben. Das ist der folgenschwerste Tippfehler überhaupt — er nimmt eine Seite komplett aus Google.
Wenn GPTBot einen eigenen Abschnitt hat, gilt für ihn ausschließlich dieser. Die Regeln aus User-agent: * greifen dann für ihn gar nicht mehr — auch nicht ergänzend. Das ist die häufigste Fehlannahme.
Wer in KI-Antworten zitiert werden will, muss die Retrieval-Crawler zulassen: OAI-SearchBot, Claude-SearchBot, PerplexityBot sowie ganz normal den Googlebot. Die reinen Trainings-Crawler GPTBot, ClaudeBot und CCBot zu sperren, kostet dagegen keine Zitate. Und Google-Extended ist kein Crawler, sondern nur ein Opt-out fürs Gemini-Training — es blockiert die KI-Übersichten nicht.
Disallow ist kein Schutz vor IndexierungEine gesperrte Seite kann trotzdem in den Suchergebnissen auftauchen, wenn andere Seiten auf sie verlinken — nur eben ohne Textauszug. Wer eine Seite wirklich aus dem Index halten will, braucht noindex im Seitenkopf, und dafür muss die Seite crawlbar sein. Beides gleichzeitig hebt sich gegenseitig auf.
Dieses Werkzeug löst einen Ausschnitt. Wenn du weiterkommen willst, führen diese drei Seiten die Arbeit fort:
Die robots.txt ist eine einfache Textdatei im Hauptverzeichnis einer Website, die Suchmaschinen-Crawlern und anderen Bots mitteilt, welche Bereiche der Website sie durchsuchen dürfen und welche nicht. Sie folgt dem sogenannten Robots Exclusion Protocol, einem seit Jahrzehnten etablierten Web-Standard.
Die Datei muss zwingend im Stammverzeichnis der Domain liegen und unter deinedomain.de/robots.txt erreichbar sein. Liegt sie in einem Unterordner oder ist sie unter einer anderen Adresse abrufbar, wird sie von Crawlern nicht gefunden und ignoriert.
Dafür wird ein eigener Regelblock mit User-agent: GPTBot gefolgt von Disallow: / angelegt. Da GPTBot ein eigener, offiziell benannter User-Agent von OpenAI ist, reicht eine Sperrung über den allgemeinen Platzhalter User-agent: * nicht zuverlässig aus – der Bot benötigt einen eigenen, expliziten Eintrag.
Nicht zuverlässig. Eine robots.txt-Sperre verhindert lediglich, dass eine Seite gecrawlt wird; sie kann trotzdem mit URL und ggf. Snippet aus anderen Quellen in den Suchergebnissen erscheinen, etwa wenn andere Websites darauf verlinken. Um eine Seite sicher aus dem Index zu entfernen, ist stattdessen ein noindex-Meta-Tag oder HTTP-Header notwendig, der wiederum voraussetzt, dass die Seite gecrawlt werden darf.
Disallow in der robots.txt untersagt einem Crawler den Zugriff auf einen Bereich, verhindert aber nicht zwangsläufig die Aufnahme der URL in den Index. Ein noindex-Tag im HTML-Head einer einzelnen Seite untersagt hingegen ausdrücklich die Indexierung, setzt jedoch voraus, dass der Crawler die Seite überhaupt lesen darf, um das Tag zu erkennen. Für sensible Seiten sollten beide Mechanismen nicht gleichzeitig widersprüchlich eingesetzt werden.
Ein Eintrag wie User-agent: * gefolgt von Disallow: / weist alle Crawler an, die komplette Website zu ignorieren. Bereits indexierte Seiten verschwinden dann nach und nach aus den Suchergebnissen, da Google sie nicht mehr erneut abrufen kann, um ihre Aktualität zu bestätigen. Nach dem Beheben des Fehlers kann es je nach Crawling-Frequenz Tage bis Wochen dauern, bis die Sichtbarkeit vollständig wiederhergestellt ist.
Zwingend notwendig ist es nicht, da die Sitemap auch direkt in der Google Search Console oder Bing Webmaster Tools hinterlegt werden kann. Der Eintrag in der robots.txt ist jedoch eine bewährte Praxis, da er es jedem Crawler ermöglicht, die Sitemap automatisch beim ersten Besuch der Domain zu finden.
Gängig ist die Sperrung von /wp-admin/, da dieser Bereich ausschließlich für den Login und die interne Verwaltung gedact ist. Häufig wird zusätzlich /wp-admin/admin-ajax.php wieder explizit erlaubt, da diese Datei von vielen Plugins und Themes für Funktionen im Frontend benötigt wird und ihre Sperrung zu Darstellungsfehlern führen kann.
Ja, über den Befehl Allow lassen sich gezielt Ausnahmen innerhalb eines mit Disallow gesperrten Bereichs definieren. Die meisten Crawler werten dabei die spezifischere, also längere Pfadangabe als vorrangig, sodass Allow-Regeln innerhalb eines Disallow-Verzeichnisses zuverlässig funktionieren.
Suchmaschinen rufen die robots.txt in unregelmäßigen Abständen erneut ab, meist alle paar Stunden bis maximal etwa einen Tag. Über die Google Search Console lässt sich der Abruf der Datei zusätzlich manuell anstoßen, um Änderungen schneller wirksam werden zu lassen.
Google ignoriert den Crawl-delay-Befehl grundsätzlich vollständig; die Crawling-Frequenz wird stattdessen über die Google Search Console gesteuert. Einige andere Suchmaschinen und Bots respektieren die Angabe jedoch weiterhin, sodass sie bei Serverlast-Problemen durch sehr aggressive Crawler noch einen begrenzten Nutzen haben kann.