Kostenloser Check
KI-Crawler Check: Darf ChatGPT Ihre Website lesen?
ChatGPT, Perplexity, Gemini und Claude können nur empfehlen, was ihre Crawler lesen dürfen. Viele Websites sperren KI-Bots in der robots.txt aus, oft ohne es zu wissen, weil ein Plugin oder der Hoster das voreingestellt hat. Prüfen Sie in 30 Sekunden, ob die zehn wichtigsten KI-Crawler Zugang haben.
- GPTBot, OAI-SearchBot, ChatGPT-User
- PerplexityBot, ClaudeBot
- Google-Extended, Applebot-Extended
- llms.txt und Inhalt ohne JavaScript
Was genau geprüft wird
Wir lesen Ihre robots.txt und prüfen für jeden KI-Crawler, ob er die Startseite laden darf. Zusätzlich prüfen wir, ob eine llms.txt existiert und wie viel Text ohne JavaScript lesbar ist.
Warum das wichtig ist
KI-Suchen beantworten Fragen wie „Welcher Steuerberater in Augsburg ist auf Ärzte spezialisiert?“ mit konkreten Empfehlungen. Wer nicht lesbar ist, kommt nicht vor.
So beheben Sie es
In der robots.txt die Disallow-Regeln für die KI-Bots entfernen oder gezielt „User-agent: GPTBot“ mit „Allow: /“ ergänzen. Bei WordPress prüfen, ob ein Plugin die Regeln setzt.
Was der volle Report zusätzlich zeigt
Ob Ihre Website in echten Antworten von ChatGPT, Perplexity und Gemini genannt wird, welche Wettbewerber stattdessen empfohlen werden, und was Ihrer Website an Entitäts-Signalen fehlt.
Fragen und Antworten
Häufige Fragen
Sollte ich KI-Crawler nicht lieber blockieren?
Das ist eine Abwägung. Wer Inhalte vor dem Training schützen will, blockiert GPTBot und CCBot. Wer in KI-Antworten empfohlen werden will, muss zumindest die Such-Crawler (OAI-SearchBot, PerplexityBot) zulassen.
Was ist eine llms.txt?
Eine Textdatei unter /llms.txt, die KI-Systemen eine kompakte Beschreibung der Website liefert. Sie ist ein Vorschlag (llmstxt.org) und kein offizieller Standard. Google Search nutzt sie nach eigenen Angaben nicht, und die großen KI-Anbieter haben ihre Nutzung nicht bestätigt. Anlegen kostet wenig, sollte aber nicht Ihre erste Maßnahme sein.
Meine Seite hat keine robots.txt. Ist das gut oder schlecht?
Ohne robots.txt dürfen alle Crawler alles lesen. Für die KI-Sichtbarkeit ist das in Ordnung; für SEO fehlt dann meist der Verweis auf die Sitemap.
Dieser Check ist ein Teil des KI-Sichtbarkeits-Checks mit 84 Prüfpunkten. Rechtliche Hinweise sind automatisierte Plausibilitätsprüfungen und keine Rechtsberatung.