Inhalt
- Das Wichtigste in Kürze
- Warum sich KI-Antworten von Mal zu Mal unterscheiden
- Warum eine einzelne Messung wenig sagt
- Wie oft messen: sinnvolle Takte und ihre Begründung
- Was Sie dokumentieren sollten
- Selbstmessung per Hand oder Monitoring?
- Was Sie aus den Ergebnissen ableiten dürfen
- Ehrliche Grenzen
- Häufige Fragen
- Quellen
Für die meisten kleinen Unternehmen reicht ein fester monatlicher Takt, ergänzt um eine Messung vor und nach größeren Änderungen an der Website. Häufiger zu messen bringt wenig, weil KI-Antworten auch ohne jede Änderung schwanken und eine einzelne Messung deshalb vor allem Zufall zeigt. Entscheidend sind dieselben Fragen, dieselben Einstellungen und eine saubere Dokumentation, damit Sie Monate miteinander vergleichen können. Stand: November 2026.
Das Wichtigste in Kürze
- Eine einzelne Messung ist eine Momentaufnahme. OpenAI schreibt selbst, dass Determinismus nicht garantiert ist, und auch die Suche hinter der Antwort kann sich von Mal zu Mal unterscheiden.
- Bei wenigen Fragen ist die Unsicherheit groß: Wer in 3 von 9 Fragen vorkommt, kann nach dem Intervall, das SEOnautik verwendet, bei 12 bis 65 Prozent liegen. Kleine Schwankungen sind kein Signal.
- Sinnvolle Zeitpunkte sind ein fester monatlicher Takt, vor und nach größeren Änderungen und nach spürbaren Modellwechseln. Einen besten Messabstand belegt keine Quelle, die wir gelesen haben.
- Dokumentieren Sie eingefrorene Fragen, Datum, KI-System mit Einstellungen und den Rohtext der Antworten.
- Die Selbstmessung per Hand genügt zum Einstieg. Ein Monitoring spart vor allem Aufwand und sorgt für gleichbleibende Bedingungen, macht die Messung aber nicht sicherer, als eine Stichprobe sein kann.
Warum sich KI-Antworten von Mal zu Mal unterscheiden
Mehrere Ursachen kommen zusammen, und sie lassen sich nicht alle von außen steuern.
Die Modelle sind nicht garantiert deterministisch. OpenAI beschreibt in seinem Cookbook, dass die Chat-Schnittstelle standardmäßig nicht deterministisch ist, Antworten auf dieselbe Anfrage also abweichen können. Mit einem festen Startwert (seed) versucht das System laut OpenAI nur, gleich zu antworten. Die Dokumentation sagt ausdrücklich, dass Determinismus nicht garantiert ist. Dazu kommt: Die Server-Konfiguration ändert sich laut OpenAI mit Updates der Infrastruktur, die nach Angabe des Anbieters einige Male im Jahr vorkommen können, und dann können Antworten abweichen.
Das Modell entscheidet selbst, ob und wie es sucht. In der Dokumentation zur Websuche von OpenAI steht, dass das Modell anhand der Eingabe entscheidet, ob es die Websuche nutzt, sofern Sie die Suche nicht erzwingen. Anthropic beschreibt für Claude Ähnliches: Claude bestimmt anhand der Anfrage, wann gesucht wird, und die Zahl der Suchen lässt sich nur nach oben begrenzen. Bei OpenAI listet die Quellenliste einer Antwort zudem oft mehr Adressen auf, als am Ende zitiert werden. Welche Seiten gelesen werden, ist also nicht dasselbe wie welche Seiten genannt werden.
Mehrere Suchen und Verfahren arbeiten zusammen. Google schreibt, dass KI-Übersichten und KI-Modus unterschiedliche Modelle und Verfahren nutzen können und deshalb Antworten und Links variieren. Beide können laut Google mehrere verwandte Suchen zu Unterthemen ausführen (Query Fan-out) und dadurch ein breiteres Spektrum an Links zeigen als die klassische Suche.
Die Umgebung unterscheidet sich. Konto, Standort und frühere Unterhaltungen können sich von Nutzer zu Nutzer unterscheiden. Ihr Test auf dem eigenen Rechner bildet daher nicht jeden Kunden ab. Wie Sie das beim Selbsttest abfedern, steht im Artikel Empfiehlt ChatGPT meine Website?.
Für die Praxis heißt das: Ob Sie heute genannt wurden und gestern nicht, ist ohne weitere Daten keine Nachricht. Erst viele Fragen und der Verlauf über Monate zeigen etwas.
Warum eine einzelne Messung wenig sagt
Stellen Sie sich eine Münze vor, die mal Kopf und mal Zahl zeigt. Zwei Würfe sagen Ihnen nichts über die Münze. Bei KI-Antworten ist es ähnlich: Jede Antwort ist eine Ziehung, und Ihre Nennung hat eine Wahrscheinlichkeit, die Sie nicht kennen. Sie schätzen sie, indem Sie viele Ziehungen auszählen. Mit wenigen Ziehungen bleibt eine große Spanne möglicher Wahrheiten übrig.
Das Verfahren, das SEOnautik dafür verwendet, heißt Wilson-Intervall. Es gibt zu einem Messwert eine Spanne an, in der der wahre Wert mit 95 Prozent Sicherheit liegen soll, auch bei sehr wenigen Fragen und auch dann, wenn keine oder alle Fragen einen Treffer ergeben. In der Methodik von SEOnautik ist festgelegt, dass dabei die Fragen als unabhängige Einheiten zählen, nicht die einzelnen Antworten. Der Grund: Die Antworten der KI-Systeme auf dieselbe Frage hängen zusammen. Mehr Durchgänge je Frage machen den Wert je Frage stabiler, verengen die Spanne aber kaum. Mehr verschiedene Fragen tun es.
Die folgende Tabelle zeigt, wie breit die Spanne bei kleinen Stichproben ist. Die Werte sind nach der Wilson-Formel mit 95 Prozent berechnet, wobei jede Frage entweder einen Treffer ergibt oder nicht:
| Treffer bei Fragen | Anteil | Spanne (95 %) |
|---|---|---|
| 0 von 9 | 0 % | 0 bis 30 % |
| 2 von 9 | 22 % | 6 bis 55 % |
| 3 von 9 | 33 % | 12 bis 65 % |
| 3 von 10 | 30 % | 11 bis 60 % |
| 30 von 100 | 30 % | 22 bis 40 % |
Zwei Dinge fallen auf. Erstens: Mit 9 oder 10 Fragen liegen Werte wie 22 und 33 Prozent statistisch nicht auseinander, die Spannen überlappen weit. Eine Verbesserung von 2 auf 3 Fragen ist also kein Beleg für Fortschritt. Zweitens: Auch ein Messwert von 0 von 9 beweist keine Unsichtbarkeit, denn der wahre Wert kann nach dieser Rechnung noch bis etwa 30 Prozent betragen. Die Beispiele sind Rechenbeispiele, keine Messungen echter Websites.
In der Methodik von SEOnautik gilt deshalb: Ein Messwert braucht mindestens 4 auswertbare Antworten, und eine Bewertung einzelner KI-Systeme gibt es erst ab 8 beantworteten Fragen, darunter höchstens als Hinweis. Beim Monitoring wird eine Verschlechterung nur gemeldet, wenn sie bei denselben Fragen mindestens 15 Prozentpunkte beträgt und größer ist als die Schwankung der Stichprobe. Diese Schwellen sind Festlegungen von SEOnautik, keine Branchennorm. Sie sollen verhindern, dass Zufall als Trend gelesen wird.
Wie oft messen: sinnvolle Takte und ihre Begründung
Es gibt keine Studie, die wir gelesen haben und die einen besten Messabstand belegt. Die folgenden Empfehlungen sind unsere Einschätzung und stützen sich auf die oben beschriebene Schwankung und auf den Aufwand:
| Anlass | Warum dann | Was Sie beachten sollten |
|---|---|---|
| Vor einer größeren Änderung | Sie brauchen einen Ausgangswert, mit dem Sie später vergleichen können | Fragen einfrieren und Datum festhalten |
| Nach einer größeren Änderung | Neue Inhalte, Verzeichniseinträge oder Crawler-Freigaben wirken erst, wenn Systeme sie erneut lesen. Bei der robots.txt nennt OpenAI etwa 24 Stunden bis zur Wirkung in der Suche | Nicht am nächsten Tag urteilen, sondern einige Wochen warten und dann messen |
| Monatlich | Ein Abstand, der Aufwand und Aussagekraft ausbalanciert und lange genug ist, damit sich etwas ändern kann | Immer dieselben Fragen, dieselben Einstellungen |
| Nach auffälligen Modellwechseln | Neue Modellversionen oder geänderte Suchverfahren können Antworten verschieben, ohne dass Ihre Website etwas damit zu tun hat | Den Sprung im Protokoll vermerken, damit er nicht als Ihre Leistung oder Ihr Versagen gelesen wird |
Warum nicht wöchentlich oder täglich? Weil Sie sonst vor allem das Rauschen messen und dazu neigen, auf Zufall zu reagieren. Warum nicht seltener als vierteljährlich? Weil Sie Änderungen der KI-Systeme dann spät bemerken und schwer zuordnen können, was sich wann verändert hat. Wenn Sie wenig Zeit haben, ist ein ehrlicher Takt von einmal im Quartal besser als ein monatlicher Takt, den Sie nach zwei Monaten aufgeben. Wichtig ist, dass der Takt gleich bleibt.
Was Sie dokumentieren sollten
Ohne Protokoll sind spätere Vergleiche wertlos. Halten Sie bei jeder Messung Folgendes fest:
- Die Fragenliste, eingefroren. Dieselben 8 bis 10 Fragen, im Wortlaut, ohne Ihren Firmennamen (bis auf eine Kontrollfrage, die Sie getrennt auswerten). Ändern Sie eine Frage, vermerken Sie "Fragenliste geändert". Dann sind die Monate nicht mehr direkt vergleichbar. SEOnautik macht es im Monitoring genauso und kennzeichnet einen geänderten Fragenkatalog als nicht vergleichbar.
- Datum und Uhrzeit. Antworten von heute und von nächstem Monat gehören in getrennte Zeilen.
- KI-System, Modell und Einstellungen. Welches System, ob mit Websuche, ob angemeldet oder nicht, ob mit oder ohne Personalisierung. Die Modellbezeichnung steht oft in der Oberfläche. Wenn nicht, notieren Sie "nicht erkennbar".
- Den Rohtext der Antwort und die genannten Quellen. Kopieren Sie den Text oder sichern Sie einen Screenshot. Nur so können Sie später prüfen, ob eine Nennung positiv, neutral oder falsch war, und sehen, welche Domains statt Ihrer Seite zitiert wurden.
- Auffälligkeiten. Änderungen an Ihrer Website, neue Verzeichniseinträge, Pressemeldungen, bekannte Modellupdates.
Eine Vorlage für die Tabelle und für die Fragetypen finden Sie im Artikel Empfiehlt ChatGPT meine Website?.
Selbstmessung per Hand oder Monitoring?
Beides kann sinnvoll sein. Die Unterschiede liegen vor allem in Aufwand und Gleichmäßigkeit, nicht in der Grundsicherheit:
| Von Hand | Monitoring | |
|---|---|---|
| Aufwand | Etwa eine halbe Stunde pro Durchgang für ein System, mehr bei mehreren | Läuft automatisch |
| Systeme | Meist eines, jedes weitere kostet Zeit | Mehrere KI-Systeme, jeweils mit Websuche |
| Gleiche Bedingungen | Hängen von Ihrer Disziplin ab (Konto, Standort, Einstellungen) | Feste Fragen und feste Einstellungen |
| Rohdaten | Haben Sie selbst gesichert | Je nach Anbieter einsehbar, das sollten Sie vorab prüfen |
| Grenzen | Eigene Umgebung, kleine Stichprobe | Stichprobe bleibt Stichprobe, Abfragen laufen oft über Programmierschnittstellen statt über die Chat-Apps |
Worauf Sie bei Messwerkzeugen allgemein achten sollten, erklärt der Artikel KI-Sichtbarkeit messen: Worauf bei GEO-Tools achten. Google weist in seinem Leitfaden außerdem darauf hin, dass kein Drittanbieter-Werkzeug Zugriff auf Googles interne Ranking- oder KI-Systeme hat. Jedes Werkzeug misst also von außen, und Sie sollten genau das erwarten.
Das Monitoring von SEOnautik (29 €) stellt jeden Monat dieselben 8 bis 10 Fragen an ChatGPT, Claude, Perplexity und Gemini, jeweils mit aktueller Websuche, und meldet eine Verschlechterung nur, wenn sie nach den oben genannten Regeln größer ist als die Schwankung der Stichprobe. Jede Frage wird je KI-System einmal gestellt. Die Grenzen stehen auf der Seite Methodik: Abgefragt werden die Programmierschnittstellen der Anbieter mit kostengünstigen Modellen, nicht die Chat-Apps, die abweichend antworten können, und das Ergebnis bleibt eine Stichprobe. Wie die Rohdaten im Report aussehen, zeigt der Beispiel-Report. Wenn Sie zuerst einen groben Eindruck wollen, startet der kostenlose Kurz-Check mit einer einzelnen Probefrage, die aber dieselben Grenzen hat wie jede Einzelmessung.
Was Sie aus den Ergebnissen ableiten dürfen
- Ein großer, anhaltender Unterschied über mehrere Monate bei denselben Fragen ist ein Signal. Prüfen Sie dann, ob sich etwas an Ihrer Website, Ihren Profilen oder bei den genannten Wettbewerbern geändert hat.
- Ein kleiner Ausschlag in einem Monat ist meist Rauschen. Notieren Sie ihn und warten Sie den nächsten Durchgang ab.
- Die Wettbewerber und zitierten Quellen sind oft nützlicher als die Quote selbst. Sie zeigen, welche Portale und Seiten die KI für Ihre Fragen heranzieht.
- Ursachen bleiben offen. Die Messung zeigt, ob Sie vorkommen, nicht warum. Was belegt wirkt, steht im Artikel KI-Sichtbarkeit verbessern. Eine Nennung kann niemand garantieren.
Ehrliche Grenzen
- Die Messung zeigt Ihre Sichtbarkeit bei den gewählten Fragen, nicht bei allen Fragen, die Kunden stellen. Eine andere Fragenliste kann ein anderes Ergebnis liefern.
- Die KI-Systeme ändern sich ohne Ankündigung. Ein Verlauf über Monate kann durch Modell- und Suchänderungen springen, die mit Ihrer Website nichts zu tun haben.
- Die API-Abfragen eines Monitorings und die Chat-Apps, die Ihre Kunden nutzen, sind nicht identisch.
- Für Googles KI-Funktionen nennt Google einen eigenen Bericht zur Leistung bei generativer KI in der Search Console. Er betrifft nur Google und ersetzt nicht die Sicht auf ChatGPT, Claude, Perplexity oder andere Systeme.
Häufige Fragen
Wie oft sollte ich meine KI-Sichtbarkeit messen?
Für die meisten kleinen Unternehmen genügt ein fester monatlicher Takt plus eine Messung vor und nach größeren Änderungen. Eine Quelle, die einen besten Abstand belegt, kennen wir nicht. Wichtiger als die Häufigkeit sind gleiche Fragen und gleiche Bedingungen.
Warum liefert dieselbe Frage morgen eine andere Antwort?
KI-Antworten werden bei jeder Anfrage neu erzeugt, und laut OpenAI ist Determinismus selbst mit festem Startwert nicht garantiert. Dazu kommt, dass das Modell selbst entscheidet, ob und wie es im Web sucht. Eine abweichende Antwort ist daher normal und für sich genommen kein Hinweis auf eine Änderung Ihrer Sichtbarkeit.
Wie viele Fragen brauche ich für eine aussagekräftige Messung?
Mehr Fragen verengen die Unsicherheitsspanne, bei 9 Fragen bleibt sie breit, wie die Tabelle oben zeigt. Als Einstieg sind 8 bis 10 Fragen üblich, SEOnautik nutzt diese Größe und weist darauf hin, dass die Spanne nur für diese Fragenauswahl gilt. Mehr Wiederholungen derselben Frage verengen die Spanne kaum.
Was bedeutet das Unsicherheitsintervall in einfachen Worten?
Es ist der Bereich, in dem der wahre Anteil Ihrer Nennungen mit 95 Prozent Sicherheit liegen soll. Ein Messwert von 33 Prozent mit einer Spanne von 12 bis 65 Prozent heißt: Es ist nicht auszuschließen, dass der wahre Wert deutlich niedriger oder deutlich höher liegt.
Reicht die Selbstmessung per Hand aus?
Zum Einstieg ja, wenn Sie Fragen einfrieren, Antworten sichern und Einstellungen gleich halten. Ein Monitoring nimmt Ihnen vor allem Aufwand ab und sorgt für feste Bedingungen. Genauer wird die Messung dadurch nicht, als eine Stichprobe sein kann.
Quellen
- OpenAI Cookbook: Reproducible outputs with the seed parameter: standardmäßig nicht deterministische Antworten, Determinismus auch mit seed nicht garantiert, Änderung der Server-Konfiguration; abgerufen am 05.11.2026
- OpenAI: Web search (API-Leitfaden): das Modell entscheidet anhand der Eingabe über die Websuche, Quellenliste länger als die zitierten Quellen; abgerufen am 05.11.2026
- OpenAI: Overview of OpenAI crawlers: OAI-SearchBot, GPTBot, etwa 24 Stunden bis zur Wirkung einer robots.txt-Änderung; abgerufen am 05.11.2026
- Anthropic: Web search tool: Claude entscheidet anhand der Anfrage, wann gesucht wird, Begrenzung der Suchen mit max_uses; abgerufen am 05.11.2026
- Google Search Central: AI features and your website: unterschiedliche Modelle und Verfahren in KI-Übersichten und KI-Modus, Query Fan-out, vielfältigere Links; abgerufen am 05.11.2026
- Google Search Central: Optimizing your website for generative AI features on Google Search: Bericht zur Leistung bei generativer KI in der Search Console, kein Drittanbieter-Werkzeug mit Zugriff auf Googles interne Systeme; abgerufen am 05.11.2026
- SEOnautik Methodik: Fragenliste, Wilson-Intervall mit den Fragen als Einheiten, Mindestzahlen und Schwellen des Monitorings