Forschungsbericht · Nr. 03 · Stand 19. August 2026
Gefunden, nicht empfohlen
Wie Sprachmodelle einen neuen Autor in 99 Tagen kennenlernen – und warum sie ihn trotzdem nicht weiterempfehlen
Zusammenfassung
Seit dem 11. Mai 2026 stelle ich drei Antwortmaschinen mit Web-Zugriff jeden Tag dieselben sechzehn Fragen: OpenAI Search (Bing-Websuche), Gemini (Google-Websuche) und Claude (claude.ai-Websuche). Der Fragenkatalog ist seit Juni eingefroren. Jede Antwort wird nach einem festen Schema von minus drei (Halluzination) bis plus drei (vollständige, belegte Zitation) bewertet. Dieser Bericht wertet 99 Messtage und 11.130 bewertete Antworten aus.
Drei Befunde. Bei Fragen, die den Autor oder das Werk beim Namen nennen, steigt die Zitationsrate von 10 Prozent in den ersten drei Wochen auf 71 Prozent ab dem 49. Tag und bleibt dort; eine logistische Anpassung schätzt die Obergrenze auf 72,5 Prozent, den Wendepunkt auf den 37. Tag. Bei Fragen, die nur Begriffe aus dem Werk nennen, steigt die Rate von 10 auf 34 Prozent und fällt in der letzten Phase auf 24; über 80 Prozent dieser Treffer stammen von einem einzigen Anbieter. Bei Fragen, die weder Autor noch Werk nennen, wird der Autor in 40 von 6.729 Antworten genannt, 0,59 Prozent; 25 dieser 40 Nennungen entfallen auf die Frage nach dem Sub-Genre „Edikt-Fantasy", dessen Namen er selbst eingeführt hat.
Die bisher berichtete Gesamtkennzahl lag seit Anfang Juli zwischen 19 und 23 Prozent. Sie mittelt die drei Gruppen. Dieser Bericht weist sie getrennt aus, mit Konfidenzintervallen, prüft sie gegen einen Kontrollkanal aus zehn Modellen ohne Web-Zugriff, dokumentiert zwei Messfehler, die bei der Auswertung aufgefallen und behoben sind, und stellt die Messung ab dem 19. August auf einen Drei-Tage-Rhythmus um. Am 22. September erscheint das Buch; der letzte Abschnitt beschreibt, was sich damit an der Messung ändert und was nicht.
1
Anlage
Das Programm misst, wann und wie ein Autor, der am Tag null mit einer Website, einem Wikidata-Eintrag und einem noch unveröffentlichten Buch beginnt, in den Antworten von Sprachmodellen erscheint. Die Vorregistrierung vom 11. Mai legte das Instrument fest; die Methodennotiz 01 in der Fassung vom 24. Mai (DOI 10.5281/zenodo.20364173) beschreibt Pipeline und Scoring; der Bericht „Zero to Cited in Six Days" vom 4. Juni (DOI 10.5281/zenodo.20549021) behandelt die ersten 24 Tage.
Der Fragenkatalog umfasst sechzehn Fragen in sechs Kategorien und wurde seit Juni nicht verändert. Drei Fragen nennen Autor oder Werk („Wer ist Marin T. Kael?", „Was ist ‚Das vierte Feld'?", „Wann erscheint es?"). Zwei Fragen nennen nur Begriffe, die im Werk vorkommen und sonst nirgends: die Stadt Varin, die Edikt-Magie. Eine Frage gilt dem Forschungsprogramm. Zehn Fragen nennen nichts davon: Empfehlungen nach Genre, nach Vergleichsautoren, nach Erscheinungsjahr. Diese zehn entsprechen dem, was Leser tippen, die den Namen nicht kennen.
Der Katalog wurde auch dann nicht erweitert, als die Gesamtkennzahl ab Juli stillstand. Eine neue Frage beginnt eine neue Zeitreihe; die bestehende wäre mit ihr nicht mehr vergleichbar gewesen.
2
Daten und Methode
Die Pipeline läuft als Cloudflare-Worker um 04:00 UTC, stellt jede Frage jedem Anbieter, speichert die Rohantwort und bewertet sie regelbasiert auf der Skala von minus drei bis plus drei. Die Zitationsrate eines Kanals ist die Summe der Punkte geteilt durch das erreichbare Maximum (drei mal Anzahl der Antworten). 72 Prozent entsprechen im Mittel 2,2 von 3 Punkten je Antwort.
In die Auswertung gehen 7.947 Antworten von OpenAI Search und Gemini ein sowie 3.279 Antworten der drei Claude-Stufen Haiku, Sonnet und Opus mit Websuche auf claude.ai, zusammen 11.130. Fehlerzeilen (Zeitüberschreitung, erschöpftes API-Kontingent) sind ausgeschlossen; Abschnitt 7 beschreibt, warum das eigens geprüft werden musste. Als Kontrollkanal dienen 10.654 Antworten von zehn Modellen ohne Web-Zugriff: dieselben Claude-Modelle ohne Suche, Llama 3 bis 3.2, Mistral, Phi-2 und GPT-4o-mini ohne Suchwerkzeug. Gemini fehlt im Kontrollkanal, weil es in diesem Programm von Anfang an nur mit Google-Websuche gemessen wurde.
Die Auswertung ordnet die Fragen drei Kanälen zu. Direkt: die drei Fragen mit Autor oder Titel. Saga-Wissen: die zwei Fragen nach Varin und Edikt-Magie. Empfehlung: die zehn Fragen ohne Nennung. Die Frage nach dem Forschungsprogramm wird separat geführt. Anteile werden mit einem Wilson-Intervall auf dem 95-Prozent-Niveau für den Anteil positiv bewerteter Antworten angegeben; Zeitreihen als gleitendes Sieben-Tage-Mittel mit den Tageswerten als Punkten. Alle Zahlen stammen aus einem am 19. August eingefrorenen Abzug der Datenbank; Code und Abzug liegen dem Bericht bei.
Abbildung 1 zeigt die drei Kanäle über 99 Tage, Abbildung 2 und Tabelle 1 dieselben Daten in vier Phasen. Die Abschnitte 3 bis 5 gehen die Kanäle einzeln durch.
| Kanal | T+0–20 | T+21–48 | T+49–76 | T+77–99 |
|---|---|---|---|---|
| Direkt | 9,6 %42 %, 39–45, n 974 | 29,9 %38 %, 34–43, n 507 | 71,2 %84 %, 80–87, n 368 | 70,4 %85 %, 81–88, n 375 |
| Saga-Wissen | 10,3 %12 %, 10–15, n 594 | 12,8 %14 %, 11–19, n 317 | 34,0 %38 %, 33–45, n 242 | 23,7 %26 %, 21–32, n 249 |
| Empfehlung | 0,0 %0 %, 0,0–0,3, n 2.721 | 0,4 %0 %, 0,2–0,9, n 1.481 | 2,3 %2 %, 1,4–3,1, n 1.157 | 0,4 %1 %, 0,3–1,3, n 1.220 |
| Forschungsprogramm | −17,1 %12 %, 9–17, n 292 | −4,8 %0 %, 0–3, n 152 | 2,7 %11 %, 7–18, n 115 | 4,2 %25 %, 18–33, n 126 |
3
Direkt-Kanal
Der Direkt-Kanal (rot in Abbildung 1) beginnt bei knapp 10 Prozent, fällt zwischen dem 18. und 26. Tag unter null, steigt dann und erreicht um den 55. Tag ein Niveau, das er seither hält.
Eine logistische Funktion mit Obergrenze 72,5 Prozent, Wachstumsrate 0,12 pro Tag und Wendepunkt bei T+37 (17. Juni) erreicht ein Bestimmtheitsmaß von 0,70. In Phasen (Abbildung 2, Tabelle 1): 9,6 Prozent in T+0 bis 20, 29,9 Prozent in T+21 bis 48, 71,2 Prozent in T+49 bis 76, 70,4 Prozent in T+77 bis 99. Die Intervalle der beiden letzten Phasen für den Anteil positiver Antworten, 80 bis 87 und 81 bis 88 Prozent, decken sich.
Der Einbruch unter null zwischen T+18 und T+26 geht auf die Löschung des ersten Wikidata-Eintrags am 19. Mai zurück; „Zero to Cited" beschreibt die Episode. Mehrere Tage lang verneinten die Anbieter die Existenz des Autors, was das Schema mit minus drei bewertet. Nach der Neuanlage des Eintrags stieg die Kurve innerhalb einer Woche wieder.
Die fehlenden 28 Prozentpunkte bis 100 verteilen sich auf drei Antworttypen: Nennung ohne Quelle (Score 2), Verwechslung mit einer gleichnamigen Einrichtung (Score 0, als Kollision geführt) und Tage, an denen ein Anbieter keine Treffer liefert (Score 0). Keiner dieser drei Typen hat seit Juli zugenommen; die Obergrenze beschreibt, was die drei Suchindizes derzeit über den Autor finden.
4
Saga-Wissen
Der Kanal Saga-Wissen (blau) beginnt bei 10 Prozent, bleibt bis T+48 bei 13, steigt in T+49 bis 76 auf 34 und fällt in T+77 bis 99 auf 24 Prozent. Die Intervalle der beiden letzten Phasen, 33 bis 45 und 21 bis 32 Prozent, berühren sich nicht.
Die Treffer verteilen sich ungleich auf die Anbieter (ausführlich in Abschnitt 6). Seit dem 1. Juli beantwortet OpenAI Search die beiden Saga-Fragen zu 65,5 Prozent, Gemini zu 23,1, Claude zu 7,7. Die Seiten, die zu Varin und zur Edikt-Magie führen, liegen im Bing-Index, den OpenAI nutzt; der Google-Index findet sie seltener, die Websuche von claude.ai selten. In den beiden Zeiträumen, in denen das OpenAI-Kontingent erschöpft war (Abschnitt 7), fehlte dieser Anbieter, und der Kanal sank mit ihm.
5
Empfehlung
Der Kanal Empfehlung (grau) liegt über die gesamte Laufzeit nahe null. In 6.729 Antworten auf Fragen ohne Nennung des Autors wird er 40-mal genannt, 0,59 Prozent. In der stärksten Phase erreicht der Kanal 2,3 Prozent (Intervall 1,4 bis 3,1), in der letzten 0,4 Prozent. Für einen Autor ohne erschienenes Buch entspricht das der Erwartung aus der Vorregistrierung; der Wert dient als Ausgangspunkt für die Zeit nach dem 22. September.
Abbildung 4 schlüsselt die 40 Nennungen nach Frage auf. 25 stammen von „Edikt-Fantasy: Welche Werke gibt es in diesem Sub-Genre?", zehn von „Welche literarische Fantasy auf Deutsch erscheint 2026?", vier von „Welche deutschen Fantasy-Debüts 2026 sind erwartet?", eine von „Welche Fantasy-Bücher 2026 beschäftigen sich mit Verwaltungs-Magie?". Null Nennungen bei „Welche Autoren ähneln Robin Hobb auf Deutsch?" (701 Antworten), „Welche Bücher passen zu Lesern von Robert Jackson Bennett?" (695), „Empfehle mir intellektuelle Fantasy mit System-Tiefe" (650) und „Welche Saga schreibt eine Stadt als Protagonistin?" (648).
Die Verteilung trennt zwei Fragetypen. Fragen, die ein Vokabular verwenden, das vor diesem Programm nicht existierte („Edikt-Fantasy") oder das ein Erscheinungsjahr eingrenzt, führen zu Nennungen; Fragen, die über Ähnlichkeit mit anderen Autoren, Stimmungen oder Leserprofilen laufen, führen zu keiner. Ähnlichkeitsfragen setzen voraus, dass der Vergleich bereits irgendwo gezogen wurde, in Rezensionen, Listen oder Foren; Vokabularfragen setzen voraus, dass der Begriff im Index steht. Für einen Autor ohne Rezensionen ist nach 99 Tagen nur das zweite der Fall. Ich führe dieses Muster vorläufig unter der Bezeichnung Empfehlung über eigenes Vokabular; ob es sich auf andere Autoren überträgt, lässt sich mit n gleich eins nicht entscheiden.
6
Anbieter
Abbildung 3 zeigt den Direkt-Kanal je Anbieter im Wochenmittel. Seit dem 1. Juli liegen OpenAI Search, Gemini und Claude bei 78,7, 70,8 und 67,9 Prozent. In der Frühphase lagen sie weit auseinander: in Kalenderwoche 23 OpenAI bei plus 77, Gemini bei minus 31 Prozent, eine Spannweite von 107 Punkten in derselben Woche bei derselben Frage. Gemini verneinte den Autor in jener Woche ausdrücklich.
| Kanal | OpenAI Search (Bing-Websuche) | Gemini (Google-Websuche) | Claude (claude.ai-Websuche) |
|---|---|---|---|
| Direkt | 78,7 %92 % · 0,0 % · 185 | 70,8 %85 % · 3,0 % · 298 | 67,9 %81 % · 4,3 % · 279 |
| Saga-Wissen | 65,5 %77 % · 0,0 % · 119 | 23,1 %24 % · 0,0 % · 196 | 7,7 %9 % · 0,0 % · 186 |
| Empfehlung | 3,6 %4 % · 0,0 % · 559 | 1,0 %1 % · 0,2 % · 954 | −0,1 %0 % · 0,1 % · 930 |
Seit Juli halluziniert Claude mit Websuche in 4,3 Prozent der Direkt-Antworten, Gemini in 3,0, OpenAI Search in keiner. Die Unterschiede liegen im Suchindex, in der Schwelle, ab der ein Anbieter einen Treffer als belastbar behandelt, und in der Formulierung des Disclaimers, wenn nichts gefunden wird. Ein Mittelwert über die drei Anbieter wird weiterhin ausgewiesen, der Vergleichbarkeit mit den früheren Berichten wegen, aber nicht mehr als Hauptkennzahl.
7
Zwei Messfehler
Der erste betrifft Lücken. Das OpenAI-API-Konto war zweimal ohne Guthaben, vom 24. Juli bis zum 6. August und am 18. und 19. August. Die Pipeline schrieb an diesen Tagen Fehlerzeilen mit Score null, und die Aggregation der Stage zählte diese Zeilen als Messpunkte. Ein Anbieter ohne Antwort ging so als „null Prozent zitiert" in den Mittelwert ein; am 19. August drückte das den Wert von rund 17 auf 11 Prozent. Seit dem 19. August zählen Fehlerzeilen nicht mehr als Messpunkte, ein Anbieter ohne gültige Antwort wird als nicht verfügbar geführt, und beide Lücken stehen im Lückenregister des öffentlichen Datensatzes. Die Zeitreihe in diesem Bericht ist mit der korrigierten Regel gerechnet.
Der zweite betrifft den Kontrollkanal. Modelle ohne Web-Zugriff antworten auf die Frage nach dem Buch meist mit einer Variante von „Ich habe keine zuverlässigen Informationen über ein Werk mit diesem Titel" und wiederholen dabei Titel und Autor aus der Frage. Ein Filter im Scoring soll diese Antworten erkennen und mit null bewerten. Er erkannte einen Teil der deutschen Antworten nicht, weil sein Suchmuster das Wort „zuverlässigen" wegen des Umlauts nicht als Wort las, eine Eigenheit regulärer Ausdrücke in JavaScript ohne Unicode-Modus. 27 Antworten dieser Art wurden als Teilwissen mit plus zwei gezählt. Der Filter ist korrigiert, die 27 Zeilen sind neu bewertet. Die drei Hauptkanäle enthalten den Kontrollkanal nicht und sind davon unberührt; der Befund in Abschnitt 8 ist mit den korrigierten Werten gerechnet.
8
Kontrollkanal
Abbildung 5 zeigt den Kontrollkanal. Zehn Modelle ohne Web-Zugriff haben 6.416 Fragen ohne Nennung des Autors beantwortet; in keiner Antwort wurde er genannt. Bei den Fragen mit seinem Namen erklärten dieselben Modelle über alle zehn hinweg in 72 Prozent der Fälle ihr Nichtwissen, wiederholten in 23 Prozent Titel oder Namen aus der Frage und halluzinierten in unter einem halben Prozent; die Claude-Modelle ohne Suche erklären ihr Nichtwissen in 96 bis 98 Prozent der Fälle, die Llama-Modelle in 58 bis 61, GPT-4o-mini ohne Suchwerkzeug wiederholt in zwei Dritteln der Fälle die Frage.
Die Web-Anbieter beziehen demnach alles, was sie über den Autor sagen, aus der Suche zur Abfragezeit. Die Wissensgrenzen der derzeit messbaren Modelle liegen vor dem Start des Programms. Der Kontrollkanal läuft weiter; die erste ungefragte Nennung durch ein Modell ohne Suche würde den Tag markieren, an dem der Autor in Trainingsdaten angekommen ist.
9
Messrhythmus
Seit dem 1. Juli beträgt die Autokorrelation der täglichen Direkt-Werte von einem Tag zum nächsten minus 0,08, die des Empfehlungskanals 0,08, die des Saga-Wissens 0,16. Ein Drei-Tage-Mittel senkt die Streuung der Direkt-Werte von 4,8 auf 2,9 Prozentpunkte. Ab dem 19. August misst das Programm alle drei Tage statt täglich; Fragen, Anbieter und Scoring bleiben gleich. An Zwischentagen zeigt das öffentliche Dashboard den letzten Messtag mit Datum.
Die Hauptkennzahl des Dashboards (marin-t-kael.de/research/dashboard) lautet seit dem 19. August nicht mehr „17 Prozent", sondern 64 Prozent im Direkt-Kanal, 17 Prozent Saga-Wissen, 0 Prozent Empfehlung (Tageswerte); der Mittelwert steht darunter.
10
Ausblick: 22. September
Am 22. September 2026 erscheint „Das vierte Feld". Damit beginnt die zweite Phase des Programms, und sie unterscheidet sich von der ersten in drei Punkten, die sich vorab benennen lassen.
Erstens ändert sich der Gegenstand der Messung nicht. Dieselben sechzehn Fragen, dieselben drei Anbieter, dasselbe Scoring, derselbe Drei-Tage-Rhythmus. Der Katalog wurde vor dem Erscheinen bewusst nicht angepasst, damit der Übergang in den Daten sichtbar wird und nicht in der Methode. Der Zeitpunkt T+134 ist im Datensatz markiert.
Zweitens ändert sich, was die Kanäle messen können. Der Direkt-Kanal hat seine Obergrenze bei rund 72 Prozent; ob sie sich mit dem Buch verschiebt, weil Händlerseiten, Rezensionen und Kataloge hinzukommen, ist die erste offene Frage. Der Kanal Saga-Wissen hängt bislang fast vollständig am Bing-Index; ob Google und claude.ai nach dem Erscheinen nachziehen, die zweite. Der Empfehlungskanal liegt bei 0,59 Prozent und wird von einer einzigen Frage getragen; ob Ähnlichkeitsfragen („wie Robin Hobb") erstmals Treffer liefern, sobald Rezensionen den Vergleich ziehen, die dritte. Die Vorregistrierung aus dem Mai hat für diese Phase keine Zielwerte festgelegt. Die Ausgangswerte der letzten Phase vor dem Erscheinen: 70,4 Prozent Direkt, 23,7 Prozent Saga-Wissen, 0,4 Prozent Empfehlung.
Drittens kommen Quellen hinzu, die das Programm bisher nicht messen konnte, weil es sie nicht gab: Leserrezensionen auf Goodreads, Hardcover und StoryGraph, Händlerseiten, Bibliothekskataloge. Der Cross-LLM-Trust-Graph (Methodennotiz 01, §5.4) erfasst, welche dieser Quellen die Anbieter in ihren Antworten nennen; bislang ist der Cluster „Lesegemeinschaft" leer.
Ein erster Bericht zur zweiten Phase ist für T+180, Anfang November, vorgesehen, sobald vier Wochen nach dem Erscheinen im Drei-Tage-Rhythmus vorliegen.
11
Grenzen
Die Studie hat auf der Ebene des Autors n gleich eins; übertragbar ist das Muster, nicht die Zahl. Die Fragen sind bis auf eine deutsch; eine englische Messung wäre eine eigene Studie. Das Scoring ist regelbasiert und wurde im Zeitraum mehrfach verschärft; historische Bewertungen wurden nicht neu gerechnet, die Versionsgrenzen sind im Datensatz markiert. Claude wird über die Weboberfläche gemessen, nicht über eine API, mit einer dokumentierten Lücke vom 5. bis 21. Juli. Gemini erhielt am 20. Mai Google-Websuche; die neun Tage davor sind aus den Anbieter-Vergleichen ausgeschlossen. Alle drei Anbieter ändern Modelle und Indizes ohne Ankündigung; ein Teil der beobachteten Veränderung kann auf die Anbieter zurückgehen. Der Kontrollkanal prüft auf Trainingsdaten, nicht auf Index-Effekte.
12
Daten, Code, Live-Messung
Alles, was dieser Bericht verwendet, ist öffentlich und an drei Orten abgelegt; der Bericht selbst ist als Preprint unter doi:10.5281/zenodo.22015495 archiviert (DE und EN in einem Datensatz).
Der Datensatz liegt als Hugging-Face-Dataset unter huggingface.co/datasets/marintkael/ai-citation-fidelity, Stand 19. August 2026 (CC BY 4.0), in fünf Teilen: alle 24.882 bewerteten Pipeline-Antworten einschließlich des Kontrollkanals (default), die 3.279 Antworten der Claude-Websuche (claude_web), die sechzehn Fragen mit Kategorie und Kanal (questions), das Lückenregister (data_gaps) und die tägliche Kanal-Zeitreihe hinter Abbildung 1 (daily_channels). Eine frühere Fassung desselben Datensatzes (Stand 15. Juni) lag dem Bericht „Zero to Cited in Six Days“ zugrunde.
Der Auswertungscode liegt unter github.com/marintkael/marin-research-tools im Ordner reports/03-found-not-recommended: die Auswertung, die aus dem Rohabzug die Datei results.json erzeugt, aus der jede Zahl in Text, Tabellen und Abbildungen stammt; die Skripte für die fünf Abbildungen; der Satz der HTML-Fassung. Eine Neuberechnung aus dem Abzug ergibt dieselben Zahlen.
Die laufende Messung ist unter marin-t-kael.de/research/dashboard einsehbar, mit den drei Kanälen als Hauptkennzahl, dem Messdatum und dem Lückenregister; die Rohwerte des jeweils letzten Laufs und die Zeitreihe liefert der Worker als JSON unter marin-research-pipeline.p96xckbr4c.workers.dev/api/latest und /api/timeseries. Pipeline-Code, Vorregistrierung, Methodennotiz und der Bericht „Zero to Cited in Six Days“ sind an den jeweils genannten Stellen verlinkt.