Was ist eine robots.txt? Aufbau, Befehle und Syntax erklärt

Was macht die robots.txt und was nicht?

Die robots.txt regelt, welche Bereiche einer Website ein Crawler abrufen darf. Sie verhindert keine Indexierung: Eine gesperrte Seite kann trotzdem in den Suchergebnissen erscheinen, wenn andere Seiten darauf verlinken.

Das ist der wichtigste und am häufigsten missverstandene Punkt. Wer eine Seite aus dem Index nehmen will, braucht ein noindex im Meta-Tag oder im HTTP-Header, und die Seite muss dafür crawlbar bleiben. Eine Sperre in der robots.txt verhindert genau das und konserviert den alten Zustand.

Zweiter wichtiger Punkt: Die Datei ist eine Bitte, keine Sicherung. Seriöse Crawler halten sich daran, andere nicht. Vertrauliche Inhalte gehören hinter ein Passwort, nicht in eine Disallow-Zeile.

Wie ist eine robots.txt aufgebaut?

Sie besteht aus Blöcken. Jeder Block beginnt mit User-agent und enthält danach Disallow- und Allow-Regeln. Am Ende steht die Adresse der XML-Sitemap.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://ihre-domain.de/wp-sitemap.xml

Die Regeln in Kurzform

• User-agent: * gilt für alle Crawler, die keinen eigenen Block haben.
• Disallow: ohne Wert erlaubt alles, Disallow: / sperrt die gesamte Website.
• Die spezifischere Regel gewinnt, nicht die zuerst genannte.
• Ein eigener Block für einen Bot ersetzt den Stern-Block vollständig, für diesen Bot gelten dann nur noch seine eigenen Regeln.
• Groß- und Kleinschreibung in Pfaden ist relevant, der Bot-Name wird dagegen nicht unterschieden.

Wie steuern Sie die KI-Crawler von ChatGPT, Perplexity und Claude?

Jeder Anbieter trennt Training und Suche. Erlauben Sie immer die Such-Bots, weil sie über Ihre Sichtbarkeit in KI-Antworten entscheiden. Die Trainings-Bots sind eine Unternehmensentscheidung.

Ein sinnvoller Block für Unternehmen, die sichtbar bleiben, aber kein Training wollen, sieht so aus:

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: PerplexityBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

Ihre fertige Datei inklusive aller aktuellen KI-Bots können Sie mit unserem robots.txt Generator kostenlos online erstellen und direkt testen. Hintergründe je Plattform stehen auf den Seiten zu ChatGPT SEO, Perplexity SEO und Claude SEO.

Was gehört in die robots.txt einer WordPress-Website?

Sehr wenig: der Admin-Bereich gesperrt, admin-ajax.php erlaubt, die Sitemap verlinkt. Alles Weitere schadet meist mehr, als es nutzt.

WordPress liefert standardmäßig eine virtuelle robots.txt aus, die über Filter angepasst werden kann. Sobald eine echte Datei im Stammverzeichnis liegt, gewinnt diese. Verbreitete Fehler in WordPress-Installationen:

• /wp-content/uploads/ sperren: Damit verschwinden Bilder aus der Bildersuche.
• /wp-includes/ komplett sperren: Blockiert CSS und JavaScript, die Google zum Rendern braucht.
• Kategorien und Tags sperren: Führt dazu, dass Google sie trotzdem indexiert, aber ohne Inhalt. Richtig ist ein noindex.
• Staging vergessen: Die Entwicklungsumgebung gehört hinter ein Passwort, nicht nur in eine Disallow-Zeile.

Wie prüfen Sie Ihre robots.txt?

Datei im Browser öffnen, danach in der Search Console den robots.txt-Bericht und die Live-Prüfung einzelner URLs nutzen. Zusätzlich sollten Sie prüfen, ob eine Firewall KI-Crawler blockiert, obwohl die Datei sie erlaubt.

1. Erreichbarkeit: ihre-domain.de/robots.txt muss mit Statuscode 200 als reiner Text erscheinen.
2. Search Console: Der robots.txt-Bericht zeigt, wann Google die Datei zuletzt gelesen hat und ob sie Fehler enthält.
3. Einzelne URL testen: Die Live-Prüfung in der Search Console zeigt, ob eine bestimmte Seite abrufbar ist.
4. Bot-Schutz prüfen: Dienste wie Cloudflare blockieren KI-Crawler inzwischen häufig standardmäßig, auch wenn die robots.txt sie erlaubt. Prüfen Sie die Einstellungen dort separat.
5. Serverlogs ansehen: Dort steht, welche Bots tatsächlich vorbeikommen und welchen Statuscode sie bekommen.

Welche Fehler richten den größten Schaden an?

Der teuerste Fehler ist ein Disallow auf die gesamte Website, das aus der Entwicklungsphase stehen bleibt. Danach folgen blockierte CSS- und JS-Dateien und der Versuch, mit der robots.txt Seiten aus dem Index zu entfernen.

• Testsperre live gestellt. Disallow: / im Live-Betrieb entfernt eine Website innerhalb weniger Wochen fast vollständig aus Google.
• Ressourcen blockiert. Ohne CSS und JavaScript kann Google die Seite nicht rendern und bewertet sie schlechter.
• Sperre statt noindex. Gesperrte Seiten bleiben im Index, nur ohne Beschreibung.
• Alle KI-Bots pauschal gesperrt. Damit verschwinden Sie aus ChatGPT, Perplexity und Copilot, meist ohne dass es jemand bemerkt.
• Sitemap fehlt. Eine Zeile mit der Sitemap-Adresse kostet nichts und hilft jedem Crawler.

Wie Sie danach die Indexierung gezielt steuern, erklären wir im Ratgeber Onpage-Optimierung.