Linie 01
Zitations-Inventur
Was zeigt jedes Mess-Instrument heute überhaupt? Acht Mess-Flächen
werden täglich beprobt und die Sichtbarkeit der Autor-Identität
pro Identitäts-Cluster — Person, Werk, Genre, Welt-Mechanik —
als Abdeckungs-Matrix dokumentiert. In Phase 1 ohne
Wirkungs-Interpretation: zuerst zählen, was die Instrumente
überhaupt abbilden.
Beobachtet werden 8 Mess-Flächen (Wikidata, Google Knowledge Graph,
Bing Webmaster KI-Indexing, Goodreads, Hardcover, Reddit,
Google Search Console, Google AI-Overviews) plus eine
kleine, niedrig-frequente Sprachmodell-Probe (Gemini, ChatGPT)
× N = 12 vor-registrierte Query-Sets. Schnappschuss-Kadenz
24 h für API-Endpunkte, wöchentlich für Browser-Schnappschüsse.
Primäre Größe: Hit-Rate H = korrekte Citations ÷ Queries
(deskriptiv, nicht inferenz-orientiert in Phase 1).
Linie 02
Mess-Instrument-Validierung
Reliabel ist ein Instrument, wenn es bei wiederholter Messung
gleicher Realität gleiche Werte liefert. Phase 1 prüft jedes
Mess-Fläche auf Wiederhol-Reliabilität, intra-Set-Konsistenz und
Modell-Drift — und stellt fest, welche Mess-Flächen überhaupt für
spätere Wirkungs-Messungen geeignet sind.
Wiederhol-Korrelation r über 24-h-Wiederholungs-Proben
(Schwelle r ≥ 0,9 für API-Quellen,
≥ 0,7 für Sprachmodell-Proben). Cronbach’s α
intra-Query-Set ≥ 0,7 als Vorbedingung. CUSUM-Karten auf
Hit-Rate über 90-Tage-Fenster mit Alarm-Schwelle h = 5.
Modell-Versions-Logs werden separat protokolliert; Driftereignisse
werden mit Drift-Profilen pro Mess-Fläche ausgewiesen.
Linie 03
Codebuch-Iteration
Was zählt überhaupt als „korrekte Citation"? Welche Antwort gilt
als Halluzination, welche als korrekt-aber-unvollständig?
Phase 1 versioniert das Annotations-Schema öffentlich,
dokumentiert Grenzfälle und holt öffentliche Rückmeldungen ein — als
Voraussetzung dafür, dass spätere Wirkungs-Aussagen auf einem
eindeutigen Mess-Schema beruhen.
Codebuch v0.x → v1.0 als publizierter Meilenstein vor
Phase 2-Aktivierung. Jede neue Schema-Version erscheint mit
Beispiel-Annotationen, Grenzfall-Diskussion und Differenz zur
Vorgänger-Version. Inter-Rater-Übereinstimmung (Cohen’s κ) wird
ab Q4 / 2026 mit externen Annotator:innen erhoben;
Schwelle κ ≥ 0,7 als Bedingung für die
Codebuch-Versions-Freigabe.
Linie 04
Offene Materialien
Alles, was das Programm produziert, ist offen: Methoden-Notizen,
Vor-Registrierungen, Mess-Quellcode, Roh-Daten, Quartalsberichte,
Fehlschlag-Logs, Codebuch-Versionen. Methodik-Reviewer:innen
mit Python-Umgebung und Internet-Zugang können jede Auswertung
nachvollziehen — das ist der einzige Audit-Mechanismus, den
eine Einzelfall-Studie hat.
Methoden-Notizen und Quartalsberichte unter CC BY 4.0,
Quellcode auf GitHub unter MIT,
Roh-Daten unter CC0 (sofern Plattform-AGB konform). Ab Q3 / 2026
jede Veröffentlichung mit Zenodo-DOI. Pro Quartal ein
Replikations-Archiv mit eingefrorenen Versions-Pins,
environment.yml, User-Agent-Strings und
Endpunkt-Schnappschüsse.