26,4 % von 870 gemessenen .de-Websites sperren mindestens einen KI-Crawler

26,4 %

sperren mindestens einen KI-Crawler

19,3 %

sperren mindestens einen Such- oder Antwort-Crawler

7,6 %

haben eine llms.txt

Welche Crawler am häufigsten gesperrt werden

„Namentlich“ heißt: ein Eintrag in der robots.txt nennt den Crawler ausdrücklich. Der Rest ist durch eine allgemeine Regel gesperrt (User-agent: *). Nur 4 Websites (0,5 %) sperren über diese allgemeine Regel alles.

Unterschied nach Beliebtheit

Was die Zahlen bedeuten

• Training sperren ist eine legitime Entscheidung. Wer GPTBot oder ClaudeBot sperrt, signalisiert, dass Inhalte nicht für das Training verwendet werden sollen. Das ändert nichts daran, ob Suchdienste die Seite anzeigen.
• Such- und Antwort-Crawler zu sperren hat eine andere Folge. Wer OAI-SearchBot oder PerplexityBot aussperrt, wird in den KI-Suchen dieser Anbieter nicht als Quelle gezeigt. Bei 168 Websites ist mindestens einer davon gesperrt, oft vermutlich ohne diese Absicht.
• Die robots.txt wirkt nur bei Crawlern, die sie beachten. Sie ist kein Zugriffsschutz, und Firewalls oder CDN-Regeln können Crawler unabhängig davon blockieren. Das misst diese Studie nicht.

Wie es bei Ihrer Website aussieht, zeigt der kostenlose KI-Crawler-Check. Wie Sie die robots.txt anpassen, steht im Ratgeber robots.txt für KI-Crawler.

Methode und Grenzen

1. Stichprobe: die ersten 1.000 Domains mit der Endung .de in der Tranco-Liste (Rangliste der meistbesuchten Websites, kombiniert aus mehreren Datenquellen), jeweils die registrierbare Domain.
2. Abruf: ein Aufruf von https://domain/robots.txt je Domain und ein Aufruf von /llms.txt. Unser Crawler SeonautikBot gibt sich zu erkennen (/bot) und beachtet die robots.txt.
3. Wertung: Ein KI-Crawler gilt als gesperrt, wenn die robots.txt ihm den Zugriff auf die Startseite („/“) verbietet. Dieselbe Regel nutzt der KI-Crawler-Check im Report. Geprüft werden 10 Crawler: GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot, Google-Extended, Applebot-Extended, CCBot, Bytespider, meta-externalagent. Als Such- und Antwort-Crawler zählen OAI-SearchBot, ChatGPT-User, PerplexityBot und Google-Extended (ein Steuerelement für Gemini, kein eigener Crawler), als Trainings-Crawler die übrigen.
4. Keine robots.txt oder eine Fehlerseite im Browserformat bedeutet: keine Einschränkung. Antworten mit Statuscode 4xx werden nach RFC 9309 als „keine Regeln“ gewertet, auch wenn manche Server damit tatsächlich unseren Abruf abweisen. Domains mit Serverfehler, Zeitüberschreitung oder Netzwerkfehler gelten als nicht messbar und werden ausgelassen.
5. Grenzen: Die Stichprobe zeigt große, viel besuchte Websites und ist nicht repräsentativ für alle deutschen Websites, insbesondere nicht für kleine Unternehmen. Sie misst, was in der robots.txt steht, nicht, ob ein Crawler tatsächlich zugreift. Unterseiten-Regeln werden nicht ausgewertet.