KI-Crawler-Check: Darf ChatGPT Ihre Website lesen?

Viele Websites sperren KI-Bots in der robots.txt aus, oft ohne es zu wissen, weil ein Plugin oder der Hoster das voreingestellt hat. Prüfen Sie in 30 Sekunden, welche der 16 bekannten KI-Crawler laut robots.txt Ihre Startseite lesen dürfen. Der Zugang ist eine Voraussetzung dafür, dass KI-Suchen Ihre Seiten abrufen können; eine Nennung oder Empfehlung garantiert er nicht.

Prüft 16 KI-Crawler gegen Ihre robots.txt. Kostenlos, ohne Konto: Das erste Ergebnis sehen Sie sofort, den Rest schicken wir per E-Mail-Link.

  • GPTBot, OAI-SearchBot, ChatGPT-User
  • PerplexityBot, ClaudeBot
  • Google-Extended, Applebot-Extended
  • llms.txt und Inhalt ohne JavaScript

Was genau geprüft wird

Wir lesen Ihre robots.txt und prüfen für jeden KI-Crawler, ob er die Startseite laden darf. Ob eine Firewall oder ein CDN-Dienst (z. B. Cloudflare) KI-Crawler unabhängig von der robots.txt abweist, prüft der vollständige Report. Zusätzlich prüfen wir, ob eine llms.txt existiert und wie viel Text ohne JavaScript lesbar ist.

Warum das wichtig ist

KI-Suchen beantworten Fragen wie „Welcher Steuerberater in Augsburg ist auf Ärzte spezialisiert?“ mit konkreten Empfehlungen. Sperrt die robots.txt die Such-Crawler, rufen diese Systeme Ihre Seiten nicht ab und können sie darüber nicht nennen.

So beheben Sie es

In der robots.txt die Disallow-Regeln für die Such- und Antwort-Crawler (OAI-SearchBot, PerplexityBot, Claude-SearchBot) entfernen oder gezielt „User-agent: OAI-SearchBot“ mit „Allow: /“ ergänzen. GPTBot und ClaudeBot sind Trainings-Crawler: Ob sie lesen dürfen, ist eine eigene Entscheidung und wirkt laut den Anbietern nicht auf die Nennung in Antworten. Bei WordPress prüfen, ob ein Plugin die Regeln setzt.

robots.txt für KI-Crawler richtig einstellen

Was der volle Report zusätzlich zeigt

Ob Ihre Website in Antworten von ChatGPT, Claude, Perplexity und Gemini genannt wird (abgefragt über die offiziellen Schnittstellen mit Websuche, nicht über die Chat-Apps), welche Wettbewerber stattdessen empfohlen werden, und was Ihrer Website an eindeutigen Unternehmensangaben fehlt.

Häufige Fragen

Muss ich GPTBot für die ChatGPT-Suche freigeben?

Nein. Die ChatGPT-Suche nutzt den OAI-SearchBot, GPTBot gehört zum Modelltraining. Beides sind getrennte Einstellungen in Ihrer robots.txt.

Garantiert ein erlaubter Crawler eine Nennung?

Nein. Der Zugang ist eine Voraussetzung, mehr nicht. Ob ein KI-System Sie nennt, hängt davon ab, was es über Ihr Angebot findet und für belastbar hält. Das misst der vollständige Report mit typischen Kundenfragen.

Prüft der Check auch Firewall- und CDN-Sperren?

Der kostenlose Check nicht, er liest die robots.txt. Der vollständige Report prüft zusätzlich, ob die Startseite mit der Kennung einzelner KI-Crawler ausgeliefert wird.

Gilt das Ergebnis für jede Unterseite?

Das Ergebnis gilt für die Startseite. Einzelne Verzeichnisse können in der robots.txt abweichend geregelt sein.

Sollte ich KI-Crawler nicht lieber blockieren?

Das ist eine Abwägung. Wer Inhalte vor dem Training schützen will, blockiert GPTBot und CCBot. Wer in KI-Antworten empfohlen werden will, muss zumindest die Such-Crawler (OAI-SearchBot, PerplexityBot) zulassen.

Was ist eine llms.txt?

Eine Textdatei unter /llms.txt, die KI-Systemen eine kompakte Beschreibung der Website liefert. Sie ist ein Vorschlag (llmstxt.org) und kein offizieller Standard. Google Search nutzt sie nach eigenen Angaben nicht, und die großen KI-Anbieter haben ihre Nutzung nicht bestätigt. Anlegen kostet wenig, sollte aber nicht Ihre erste Maßnahme sein.

Meine Seite hat keine robots.txt. Ist das gut oder schlecht?

Ohne robots.txt dürfen alle Crawler alles lesen. Für die KI-Sichtbarkeit ist das in Ordnung; für SEO fehlt dann meist der Verweis auf die Sitemap.

Dieser Check ist ein Teil des KI-Sichtbarkeits-Checks mit 89 Prüfpunkten. Rechtliche Hinweise sind automatisierte Plausibilitätsprüfungen und keine Rechtsberatung.