Erstellen Sie Ihre robots.txt kostenlos in wenigen Klicks: mit Vorlagen für WordPress und Online-Shops, Sitemap-Eintrag und Sperren für KI-Crawler wie GPTBot. Anschließend prüfen Sie im integrierten Tester, ob eine URL für Googlebot oder ChatGPT blockiert ist. Ohne Anmeldung.
Eine Vorlage füllt die Felder vor. Sie können danach alles anpassen.
Angehakte Bots dürfen Ihre Website nicht crawlen. Tipp: Such-Bots wie OAI-SearchBot offen lassen, wenn Sie in KI-Antworten zitiert werden wollen.
Diese Pfade werden per Disallow für User-agent: * gesperrt. Platzhalter * und $ sind erlaubt.
Gibt einzelne Unterpfade innerhalb eines gesperrten Verzeichnisses wieder frei.
Mehrere Sitemaps durch Komma trennen. Es muss die vollständige URL mit https:// sein.
Wird von Google ignoriert, von Bing und Yandex beachtet. Nur bei Serverlast-Problemen sinnvoll.
Laden Sie die Datei unverändert als robots.txt in das Hauptverzeichnis Ihrer Domain hoch, nicht in einen Unterordner. Sie muss unter ihre-domain.de/robots.txt erreichbar sein.
Fügen Sie eine robots.txt ein, zum Beispiel Ihre aktuelle Datei von ihre-domain.de/robots.txt. Der Checker prüft die Syntax und zeigt, ob eine URL für den gewählten Crawler erlaubt oder blockiert ist. Die Auswertung folgt den Regeln, die Google dokumentiert.
Kurz erklärt: Mit dem kostenlosen robots.txt Generator von Evolix Media erstellen Sie eine fehlerfreie robots.txt-Datei, ohne die Syntax zu kennen. Das Tool enthält Vorlagen für WordPress, WooCommerce, Shopware und PrestaShop, trägt Ihre Sitemap ein und sperrt auf Wunsch KI-Crawler wie GPTBot oder SEO-Crawler wie SemrushBot. Mit dem integrierten robots.txt Tester prüfen Sie anschließend, ob eine URL für Googlebot, ChatGPT oder andere Crawler blockiert ist.
So legen Sie eine robots.txt-Datei an, auch wenn Sie noch nie eine geschrieben haben. Das Ganze dauert etwa fünf Minuten.
Wählen Sie oben eine Vorlage, etwa WordPress oder WooCommerce. Ohne Vorlage lassen Sie die Grundregel auf „Alles erlauben“. Das ist für fast jede Live-Website richtig.
Haken Sie die Bots an, die Ihre Website nicht crawlen sollen, und tragen Sie Verzeichnisse ein, die für Suchmaschinen wertlos sind: Warenkorb, Kundenkonto, interne Suche oder Filter-URLs.
Geben Sie die vollständige URL Ihrer XML-Sitemap an und klicken Sie auf robots.txt generieren. Der Generator schreibt die Datei in korrekter Syntax.
Klicken Sie auf Im Tester prüfen und testen Sie Ihre wichtigsten URLs. Danach laden Sie die Datei als robots.txt per FTP, Dateimanager oder SEO-Plugin in das Hauptverzeichnis Ihrer Domain hoch.
Die robots.txt ist eine reine Textdatei im Hauptverzeichnis Ihrer Domain. Sie sagt Crawlern wie Googlebot, Bingbot oder GPTBot, welche Bereiche sie abrufen dürfen und welche nicht. Sie steuert das Crawling, nicht die Indexierung. Wie der Aufbau im Detail funktioniert, erklärt unser Ratgeber Was ist eine robots.txt? Aufbau, Befehle und Syntax.
Pflicht ist die Datei nicht: Fehlt sie, crawlt Google einfach alles. Sinnvoll ist sie trotzdem fast immer, denn Sie tragen dort Ihre Sitemap ein, halten Crawler von wertlosen Seiten fern und entscheiden, welche KI-Anbieter Ihre Inhalte nutzen dürfen.
Die folgenden Vorlagen können Sie direkt übernehmen. Ersetzen Sie nur die Domain in der Sitemap-Zeile. Jede Vorlage lässt sich oben im Generator auch per Klick laden und anpassen.
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.ihre-domain.de/wp-sitemap.xmlDas entspricht der Datei, die WordPress selbst erzeugt. Wer Yoast SEO oder Rank Math nutzt, trägt stattdessen deren Sitemap ein, meist /sitemap_index.xml.
User-agent: *
Disallow: /wp-admin/
Disallow: /warenkorb/
Disallow: /kasse/
Disallow: /mein-konto/
Disallow: /*?add-to-cart=
Disallow: /*?orderby=
Disallow: /*?filter_
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.ihr-shop.de/sitemap_index.xmlSo verschwendet Google kein Crawl-Budget auf Warenkorb-Links und tausende Filterkombinationen. Seiten, die bereits im Index sind und verschwinden sollen, brauchen zuerst noindex. Eine Sperre per robots.txt verhindert, dass Google das noindex überhaupt sieht.
Beide Shopsysteme bringen eine eigene robots.txt mit. In PrestaShop erzeugen Sie sie unter Shop-Parameter → Traffic & SEO. Prüfen Sie die Datei nach jedem Update und ergänzen Sie Filter- und Such-URLs. Die Pfade unterscheiden sich je nach Version und Sprache. Nutzen Sie die Vorlagen im Generator deshalb als Ausgangspunkt und gleichen Sie sie mit den echten URLs Ihres Shops ab.
# Beispiel Shopware 6
User-agent: *
Disallow: /account/
Disallow: /checkout/
Disallow: /widgets/
Disallow: /*?order=
Sitemap: https://www.ihr-shop.de/sitemap.xmlUser-agent: *
Disallow: /Achtung: Diese Datei gehört ausschließlich auf eine Staging- oder Testumgebung. Wird sie beim Livegang mitkopiert, verschwindet die Website nach und nach aus Google. Eine Testumgebung schützen Sie besser zusätzlich mit einem Passwort, denn die robots.txt verhindert keine Zugriffe.
User-agent: *
Disallow:Ein leeres Disallow: erlaubt allen Crawlern alles. Das ist gleichbedeutend mit einer fehlenden robots.txt.
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.ihre-domain.de/sitemap.xmlDa OAI-SearchBot, Claude-SearchBot und PerplexityBot keinen eigenen Block haben, gilt für sie User-agent: *. Sie dürfen Ihre öffentlichen Seiten also weiter lesen und Sie in KI-Antworten als Quelle nennen.
Die Sitemap-Zeile zeigt Suchmaschinen, wo Ihre XML-Sitemap liegt. So finden Crawler neue Seiten schneller, auch ohne Search Console.
Sitemap: https://www.ihre-domain.de/sitemap.xmlhttps:// und Domain, kein relativer Pfad.Sitemap:-Zeilen untereinander schreiben. Im Generator trennen Sie sie mit Komma.Wie Sie die Datei bearbeiten, hängt vom System ab. Die wichtigsten Fälle im Überblick:
WordPress erzeugt automatisch eine virtuelle robots.txt. Deshalb finden Sie per FTP oft keine Datei, obwohl ihre-domain.de/robots.txt erreichbar ist. Sobald Sie eine echte Datei ins Hauptverzeichnis hochladen, hat diese Vorrang.
Unter Yoast SEO → Werkzeuge → Datei-Editor legen Sie die robots.txt an oder bearbeiten sie. Fügen Sie dort einfach den Code aus dem Generator ein.
Unter Rank Math → Allgemeine Einstellungen → robots.txt bearbeiten. Existiert bereits eine physische Datei auf dem Server, ist das Feld gesperrt. Dann bearbeiten Sie die Datei per FTP.
Mehr zur technischen Optimierung lesen Sie in unserem Ratgeber WordPress SEO.
Shopify liefert eine fertige robots.txt aus, die für die meisten Shops passt. Änderungen sind nur über die Theme-Vorlage robots.txt.liquid möglich. Nehmen Sie dort nur gezielte Ergänzungen vor.
Baukastensysteme erzeugen die robots.txt meist automatisch und lassen kaum oder keine direkten Änderungen zu. Seiten blenden Sie dort über die SEO-Einstellungen der jeweiligen Seite aus, nicht über die robots.txt.
Laden Sie die Datei per SFTP oder über den Dateimanager Ihres Hosters in das Verzeichnis, auf das Ihre Domain zeigt. Der Dateiname muss exakt robots.txt lauten, kleingeschrieben und ohne .txt.txt.
Jeder Crawler meldet sich mit einem Namen, dem User-Agent. Über diesen Namen sperren Sie ihn gezielt, ohne Google oder andere Bots zu beeinflussen.
Die wichtigste Unterscheidung: Manche KI-Crawler sammeln Inhalte für das Training, andere holen Inhalte für Suche und Zitate in KI-Antworten, und wieder andere rufen Seiten nur ab, wenn ein Nutzer das verlangt. Wer Training sperrt, aber in ChatGPT und Co. erscheinen will, muss hier trennen.
| User-Agent | Betreiber | Zweck | Was eine Sperre bewirkt |
|---|---|---|---|
GPTBot | OpenAI | Training von OpenAI-Modellen | Inhalte werden nicht fürs Training genutzt; ChatGPT-Suche bleibt unberührt |
OAI-SearchBot | OpenAI | Suche und Quellen in ChatGPT | Seite erscheint laut OpenAI nicht in ChatGPT-Suchantworten |
ChatGPT-User | OpenAI | Abruf, wenn ein Nutzer in ChatGPT eine Seite öffnen lässt | Laut OpenAI gelten robots.txt-Regeln bei nutzerinitiierten Abrufen möglicherweise nicht |
ClaudeBot | Anthropic | Training von Claude-Modellen | Künftige Inhalte werden vom Training ausgeschlossen |
Claude-SearchBot | Anthropic | Indexierung für Suchergebnisse in Claude | Weniger Sichtbarkeit in Claude-Suchantworten |
Claude-User | Anthropic | Abruf auf Nutzeranfrage | Claude kann die Seite für Nutzerfragen nicht abrufen |
PerplexityBot | Perplexity | Indexierung für Perplexity-Suche (laut Perplexity kein Training) | Seite wird in Perplexity-Antworten seltener verlinkt |
Perplexity-User | Perplexity | Abruf auf Nutzeranfrage | Laut Perplexity ignoriert dieser Abruf robots.txt in der Regel |
Google-Extended | Kein eigener Crawler, sondern Opt-out für Gemini-Training und -Grounding | Laut Google kein Einfluss auf Google-Suche und Ranking | |
Applebot-Extended | Apple | Opt-out für die Nutzung in Apple-KI-Training | Applebot für Siri/Spotlight bleibt aktiv |
CCBot | Common Crawl | Offener Datensatz, den viele KI-Anbieter fürs Training nutzen | Inhalte landen nicht in künftigen Common-Crawl-Datensätzen |
meta-externalagent | Meta | Inhalte für Meta-KI und Llama | Kein Training durch Meta |
Bytespider | ByteDance | KI-Training | Einhaltung der robots.txt gilt als unzuverlässig |
Amazonbot | Amazon | Alexa und Amazon-KI-Dienste | Weniger Nutzung in Amazon-Diensten |
Unsere Empfehlung: Suchmaschinen und die Such-Bots der KI-Anbieter (OAI-SearchBot, Claude-SearchBot, PerplexityBot) zulassen, sonst können Sie in KI-Antworten nicht als Quelle erscheinen. Ob Sie Trainings-Crawler sperren, ist eine Grundsatzentscheidung und kostet nach heutigem Stand keine Zitate. Warum KI-Sichtbarkeit zählt, erklärt unser GEO-Ratgeber. Die Besonderheiten je Plattform finden Sie bei ChatGPT SEO und Perplexity SEO.
SEO-Tools crawlen Websites, um Backlink- und Keyword-Daten für ihre Nutzer zu sammeln, auch für Ihre Wettbewerber. Die großen Anbieter halten sich an die robots.txt:
User-agent: SemrushBot
Disallow: /
User-agent: AhrefsBot
Disallow: /Bedenken Sie: Nutzen Sie selbst Semrush oder Ahrefs für Ihre Website-Audits, blockieren Sie damit auch Ihre eigenen Analysen.
Ein Disallow: / für Googlebot nimmt Ihre Website nach und nach aus der Google-Suche. Sperren Sie Google nur für einzelne Verzeichnisse, nie komplett. Wollen Sie eine Seite aus den Suchergebnissen entfernen, ist noindex der richtige Weg.
Die Datei wird von oben nach unten gelesen, aber nicht so, wie viele denken. Diese vier Punkte sollten Sie vor dem Hochladen kennen.
User-agent: * gilt nur für Crawler ohne eigenen BlockSteht dort Disallow: /, ist Ihre Website für alle Crawler ohne eigene Gruppe gesperrt. Das ist der folgenschwerste Fehler überhaupt.
Hat GPTBot einen eigenen Abschnitt, gilt für ihn ausschließlich dieser. Die Regeln aus User-agent: * greifen dann für ihn gar nicht mehr, auch nicht ergänzend.
Bei widersprüchlichen Allow- und Disallow-Regeln wendet Google die spezifischere, also längere Regel an. Bei Gleichstand gewinnt die weniger restriktive. Pfade sind case-sensitiv: /Intern/ ist nicht /intern/.
Disallow schützt nicht vor IndexierungEine gesperrte Seite kann trotzdem in Google erscheinen, wenn andere Seiten auf sie verlinken, nur ohne Textauszug. Wer eine Seite aus dem Index halten will, braucht noindex, und dafür muss die Seite crawlbar sein.
Ein einziger Tippfehler kann wichtige Seiten aussperren. Prüfen Sie Ihre Datei deshalb nach jeder Änderung.
Fügen Sie Ihre Datei in den robots.txt Tester oben ein, geben Sie eine URL ein und wählen Sie den Crawler. Das Tool zeigt, ob die URL erlaubt oder blockiert ist, welche Regel greift und ob die Datei Syntaxfehler enthält, etwa Tippfehler wie Dissalow oder eine Sitemap ohne https://.
https://ihre-domain.de/robots.txt muss erreichbar sein und den erwarteten Inhalt zeigen.| Fakt | Was Google dazu dokumentiert |
|---|---|
| Maximale Dateigröße | 500 KiB – Inhalte darüber hinaus werden ignoriert |
| Zwischenspeicher | In der Regel bis zu 24 Stunden; Änderungen wirken also nicht sofort |
| Datei fehlt (4xx-Fehler) | Google behandelt die Website so, als gäbe es keine Einschränkungen |
| Serverfehler (5xx) | Google pausiert das Crawling zunächst und nutzt bis zu 30 Tage eine zwischengespeicherte Version |
| Weiterleitungen | Google folgt bis zu fünf Weiterleitungen zur robots.txt |
| Zeichenkodierung | UTF-8 als reine Textdatei |
Wenn Ihre robots.txt nicht funktioniert, liegt es fast immer an einem dieser Punkte:
| Fehler | Folge | Lösung |
|---|---|---|
| Datei liegt in einem Unterordner | Crawler finden sie nicht und ignorieren alle Regeln | Ins Hauptverzeichnis legen: /robots.txt |
Disallow: / nach dem Relaunch vergessen | Website verschwindet aus Google | Nach jedem Livegang testen |
Tippfehler wie Dissalow oder User-Agent ohne Doppelpunkt | Zeile wird stillschweigend ignoriert | Mit dem Tester prüfen |
| CSS- oder JavaScript-Dateien gesperrt | Google kann die Seite nicht korrekt darstellen | Ressourcen-Ordner nicht sperren |
noindex in der robots.txt | Wird von Google nicht unterstützt | noindex als Meta-Tag im Seitenkopf setzen |
| Sitemap mit relativem Pfad | Sitemap wird nicht gefunden | Vollständige URL mit https:// eintragen |
Stehen Sie vor einem Relaunch? Dann prüfen Sie auch Ihre 301-Weiterleitungen. Passende Regeln für die .htaccess erzeugt unser htaccess Redirect Generator.
| Anweisung | Bedeutung | Beispiel |
|---|---|---|
User-agent | Für welchen Crawler der folgende Block gilt; * steht für alle | User-agent: Googlebot |
Disallow | Pfad, der nicht gecrawlt werden soll | Disallow: /intern/ |
Allow | Gibt einen Unterpfad innerhalb eines gesperrten Bereichs wieder frei | Allow: /intern/presse/ |
Sitemap | Vollständige URL der XML-Sitemap | Sitemap: https://…/sitemap.xml |
* | Platzhalter für beliebige Zeichen | Disallow: /*?sessionid= |
$ | Markiert das Ende einer URL | Disallow: /*.pdf$ |
# | Kommentar, wird ignoriert | # Stand: 09/2026 |
Crawl-delay | Wird von Google nicht unterstützt, von einigen anderen Bots schon | Crawl-delay: 10 |
Alle Befehle mit Hintergründen erklärt unser Ratgeber zur robots.txt-Syntax.
Quellen:
Die robots.txt ist ein Baustein der technischen Suchmaschinenoptimierung. Diese Seiten führen die Arbeit fort:
Wählen Sie im robots.txt Generator oben eine Vorlage oder die Grundregel, sperren Sie bei Bedarf einzelne Crawler und Verzeichnisse, tragen Sie Ihre Sitemap ein und klicken Sie auf „robots.txt generieren“. Den Code kopieren oder laden Sie als Datei herunter. Das Tool ist kostenlos und ohne Anmeldung nutzbar.
Ausschließlich im Hauptverzeichnis der Domain, erreichbar unter https://ihre-domain.de/robots.txt. In einem Unterordner wird sie von Crawlern ignoriert. Jede Subdomain braucht eine eigene Datei.
Mit einer eigenen Zeile nach dem Muster „Sitemap: https://ihre-domain.de/sitemap.xml“. Die URL muss vollständig sein. Mehrere Sitemaps schreiben Sie in mehrere Zeilen. Die Position in der Datei spielt keine Rolle.
Mit „User-agent: *“ und darunter „Disallow: /“. Damit sperren Sie alle Crawler für die gesamte Website. Nutzen Sie das nur für Test- und Staging-Umgebungen, nie auf einer Live-Website.
WordPress erzeugt eine virtuelle robots.txt, die Sie unter ihre-domain.de/robots.txt sehen, aber nicht per FTP finden. Bearbeiten können Sie sie mit Yoast SEO (Werkzeuge → Datei-Editor), mit Rank Math oder indem Sie eine eigene Datei ins Hauptverzeichnis hochladen.
Mit „User-agent: GPTBot“ und „Disallow: /“ verhindern Sie, dass OpenAI Ihre Inhalte fürs Training nutzt. In der ChatGPT-Suche bleiben Sie sichtbar, solange OAI-SearchBot erlaubt ist. Wer ChatGPT komplett aussperren will, sperrt zusätzlich OAI-SearchBot. Nutzerabrufe über ChatGPT-User halten sich laut OpenAI nicht zwingend an die robots.txt.
Mit „User-agent: SemrushBot“ und „Disallow: /“. Semrush beachtet die robots.txt. Bedenken Sie, dass Sie damit auch eigene Semrush-Analysen Ihrer Website einschränken.
Fügen Sie die Datei in unseren robots.txt Tester ein, geben Sie eine URL ein und wählen Sie den Crawler. Sie sehen sofort, ob die URL blockiert ist und welche Regel greift. Zusätzlich zeigt der robots.txt-Bericht in der Google Search Console, welche Version Google abgerufen hat.
Nein. Disallow verhindert nur das Crawling. Eine gesperrte Seite kann trotzdem ohne Beschreibung in den Suchergebnissen auftauchen, wenn andere Seiten auf sie verlinken. Um eine Seite aus dem Index zu nehmen, brauchen Sie ein noindex im Seitenkopf, und die Seite muss dafür crawlbar bleiben.
Google speichert die robots.txt in der Regel bis zu 24 Stunden zwischen. Über den robots.txt-Bericht in der Search Console können Sie ein erneutes Abrufen anstoßen.
Wer in KI-Antworten als Quelle erscheinen will, sollte die Such-Crawler erlauben: OAI-SearchBot (ChatGPT), Claude-SearchBot (Claude) und PerplexityBot (Perplexity). Reine Trainings-Crawler wie GPTBot, ClaudeBot oder CCBot zu sperren, kostet nach heutigem Stand keine Zitate.
Nur selten. Google ignoriert Crawl-delay vollständig, Bing und Yandex beachten ihn. Sinnvoll ist er nur, wenn einzelne Crawler Ihren Server nachweislich überlasten.
Google verarbeitet maximal 500 KiB. Alles darüber wird ignoriert. In der Praxis sind robots.txt-Dateien nur wenige Kilobyte groß.