ReplikationspaketVorab registriertNeu versiegelt am 19. Aug. 2026CC BY 4.0

Abruf-Audit – die Daten

Alles, worauf der Beitrag beruht: das Protokoll in der Fassung, in der es vor den Durchläufen festgeschrieben wurde, jede Antwort mit Zeitstempel und Modellkennung, die Linkzählung und das Skript. Wer die Schlussfolgerung für falsch hält, findet hier, was er braucht, um das zu zeigen.

Zu den Dateien Daten zitieren Zum Beitrag

An jede Frage angehängt

„Give the figure and cite the original source.“

Claude: sonnet-4-5
Gemini: 2.5-flash
ChatGPT: gpt-4.1-mini
Perplexity: sonar

Vier Assistenten, Websuche aktiviert, identische Prompts. Jeder Datensatz sagt in collected_via, wie er erhoben wurde.

Assistenten: 4bekamen dieselben Fragen
Gestellte Fragen: 3von sechs registrierten; zwei davon Kontrollfragen
Gezählte Antworten: 36drei Durchläufe je System, alle von Hand kodiert
Lizenz: CC BY 4.0Zur Nachnutzung, auch zum Widerspruch.

Was die Untersuchung gemacht hat

So gebaut, dass sie scheitern konnte.

Vier Assistenten bekamen dieselben sechs Fragen, jede endend mit „Nennen Sie die Zahl und zitieren Sie die Originalquelle.“ Zwei der sechs waren Kontrollfragen – zu Arbeiten mit sauberer, begutachteter Verlagsfassung –, aufgenommen, damit das Design in die Richtung scheitern konnte, die die These eingeschränkt hätte.

Es scheiterte in die andere. Über dreizehn Durchläufe zu einer Kontrollfrage trug jede Antwort einen Qualitätswert, den die veröffentlichte Arbeit nicht enthält, und keine zitierte die veröffentlichte Fassung. Die Zählungen dazu und die Messung der verweisenden Domains, die das erklärt, liegen in den Dateien unten.

Das Protokoll wurde zuerst geschrieben, einschließlich des Abschnitts was diesen Befund widerlegen würde. Jede Änderung nach dem ersten Durchlauf steht datiert und begründet im Änderungsprotokoll.

Die Kontrollzellen

Drei von vierundzwanzig gezählten Durchläufen zitieren die Verlagsfassung.

Beide Kontrollarbeiten haben ein frei zugängliches Preprint und eine Verlagsfassung hinter der Bezahlschranke. Ein System erreichte die veröffentlichte Arbeit in jedem Durchlauf, sie ist also erreichbar. Die andere erreichte keines.

Abbildung 1Hat die Antwort die Verlagsfassung zitiert?

Zitiert sieDie veröffentlichten Zahlen, ohne Link daraufNein

Zitate der Verlagsfassung je gezähltem Durchlauf, nach System und Kontrollfrage
System	Q4 · Brynjolfsson, Li & RaymondQJE 140(2), 2025: 15 %, 5.172 Agenten			Q5 · Dell'Acqua et al.Organization Science 37(2), 2026: 33,9 % und 29,9 %			Q5, das stabile Verhalten
System	Durchlauf 3	Durchlauf 4	Durchlauf 5	Durchlauf 1	Durchlauf 3	Durchlauf 4	Q5, das stabile Verhalten
Claudesonnet-4-5							Der Kategorienfehler des Crimson, 2 von 3
Gemini2.5-flash							40 %, 2 von 3
ChatGPTgpt-4.1-mini							Die erfundene Dezimalstelle, 40,2 %, 3 von 3
Perplexitysonar							Der Sponsor als Quelle, 3 von 3

Nur gezählte Durchläufe: wörtlicher Antworttext, Belege und Zeitstempel in responses.jsonl, erhoben am 27. Juli 2026. Zwölf Q5-Durchläufe trugen einen Qualitätswert, den die veröffentlichte Arbeit nicht enthält; mit dem gpt-5.5-Lauf sind es dreizehn, und an der Zählung ändert sich nichts.

repeat-runs.md

Q1Die Frage ohne auffindbare Antwort: zwölf Durchläufe, 121 Belegplätze, 23 verschiedene Domain-Labels, null Primärquellen. Kein Primärdokument nennt das Verhältnis, nach dem sie fragt.

Gemini, Q4 Durchlauf 515 % und 5.172, beides Zahlen der Verlagsfassung, und das QJE genannt, ohne Link darauf. Richtiger Inhalt, fehlende Herkunft.

Der Mechanismus, gemessen

Eine veröffentlichte Arbeit muss ihr eigenes Preprint erst an Linkmasse einholen.

Der Unterschied ist nicht die Bezahlschranke: Beide Verlagsfassungen stehen hinter einer, beide Preprints sind frei. Es sind Linkmasse und Alter.

Abbildung 2Verweisende Domains, Preprint gegen Verlagsfassung

VerlagsfassungPreprint

Q4 · Brynjolfsson, Li & Raymond · Preprint-Vorsprung 3,0× · Verlagsfassung beim Durchlauf 17 Monate alt
Preprint
nber.org/papers/w311611.884
Verlagsfassung
academic.oup.com631
Q5 · Dell'Acqua et al. · 20× allein gegenüber SSRN · Verlagsfassung beim Durchlauf vier Monate alt
Preprint
SSRN 45733211.058
Preprint
HBS landing page606
Preprint
HBS working-paper PDF511
Verlagsfassung
pubsonline.informs.org53

Quelle: DataForSEO Backlinks, bulk page summary, live index, 27. Juli 2026. Der Index eines kommerziellen Crawlers, nicht das Netz und nicht der Index, aus dem diese Assistenten abrufen.

link-graph.md

Dateien

Siebzehn Dateien, sechzehn davon mit Fingerabdruck.

Durchgehend Text und JSON. Nichts davon braucht ein Konto oder ein bestimmtes Programm. Jede Datei trägt den Anfang ihres SHA-256 aus dem Manifest.

Die Studie, wie registriert
protocol.mdsha256 96ff370b8210…Das vorab registrierte Protokoll, sein Änderungsprotokoll und die vier Anhänge: Kontroll-Pilot, Oberflächen-Arm, Wiederholungsläufe und Linkgraph-Messung.
71 kB Herunterladen
questions.jsonsha256 18e6de772c80…Die sechs Fragen, die jeweils angehängte Anweisung und die Grundwahrheit, die vor jedem Durchlauf festgestellt wurde.
8 kB Herunterladen
Die Antworten und ihre Kodierung
responses.jsonlsha256 7285e0b7023e…Die erhobenen Antworten, ein JSON-Objekt je Zeile, mit Zeitstempel, Modellkennung und Belegliste. Vor Bestehen des Skripts erhobene Datensätze tragen answer_text: null und sagen das.
129 kB Herunterladen
coding.jsonsha256 7fe1a930e1d7…Die von Hand kodierten Werte. Die Zählungen werden aus responses.jsonl berechnet, nicht eingetippt.
35 kB Herunterladen
coding-sheet.mdsha256 d03f3f53c220…Die lesbare Übersicht, erzeugt aus coding.json: 36 gezählte Antworten, alle von Hand kodiert.
33 kB Herunterladen
repeat-runs.mdsha256 c25c6b5aab44…Die Wiederholungsläufe und die Streuung zwischen ihnen – einschließlich des einen Systems, das die Verlagsfassung in allen drei Läufen zitierte.
9 kB Herunterladen
q4-runs.jsonsha256 9795682afee0…Die Q4-Zelle vollständig: gelieferte Zahlen, genannte Quellen, Belegsätze und Bewertung je Durchlauf.Überholt: als Beleg aufbewahrt, nie gezählt
7 kB Herunterladen
Der Mechanismus
link-graph.mdsha256 f6f3b0ff23c7…Verweisende Domains und Backlinks für Preprint und Verlagsfassung beider Arbeiten, mit den gezählten URLs.
4 kB Herunterladen
Die Zweitkodierung
second-coder-packet.jsonsha256 03355dda0676…Das Paket, das die Zweitkodierung erhalten hat.
23 kB Herunterladen
second-coder-codes.jsonsha256 75496e2f0654…Die Kodes der Zweitkodierung.
2 kB Herunterladen
second-coder-pass.mdsha256 d21733032543…Der Durchgang selbst, ausgeführt von einem Sprachmodell statt von einem menschlichen Leser. Er umfasst 9 von 36 Zeilen, 43 von 54 Feldvergleichen stimmen überein, die Abweichungen bleiben unaufgelöst, und ein Wert für die Übereinstimmung zwischen Kodierenden wird nicht beansprucht.
8 kB Herunterladen
Die Skripte
run_audit.pysha256 487e30b591f4…Das Skript. Ruft vier Assistenten auf, schreibt jede Rohantwort als JSONL, kodiert nichts. --dry-run zeigt die exakten Payloads, ohne etwas aufzurufen.
12 kB Herunterladen
make_coding_sheet.pysha256 584899d0abc0…Erzeugt coding-sheet.md neu aus coding.json.
8 kB Herunterladen
append.pysha256 08709f41cd21…Hängt erhobene Durchläufe an responses.jsonl an und markiert dabei die vorab registrierten Diskriminatoren.
1.9 kB Herunterladen
domains.pysha256 482548a15a45…Führt einen Beleg auf seine registrierbare Domain zurück: über die URL, wo es eine gibt, sonst über das Label.
0.6 kB Herunterladen
Erst lesen, dann prüfen
README.mdsha256 7426178dd1c6…Wie sich das wiederholen lässt, was herauskam und was die Untersuchung nicht belegt.
25 kB Herunterladen
SHA256SUMS.txtdas Manifest selbstSHA-256 für jede Datei oben, damit prüfbar ist, ob das Heruntergeladene dem Veröffentlichten entspricht. Prüfen mit sha256sum -c SHA256SUMS.txt nach dem Herunterladen.
1.3 kB Herunterladen

Wiederholen

Ungefähr ein Mittagessen und ein Nachmittag.

Mit eigenen API-Schlüsseln kostet das Ganze ungefähr so viel wie ein Mittagessen und dauert einen Nachmittag.

Aus dem Paketordner

export OPENAI_API_KEY=...  ANTHROPIC_API_KEY=...
export GEMINI_API_KEY=...  PERPLEXITY_API_KEY=...

python3 run_audit.py --dry-run              # Payloads ansehen, nichts aufrufen
python3 run_audit.py --only Q4,Q5 --runs 1  # die beiden Kontrollfragen, je einmal
python3 run_audit.py --runs 3               # der vollständige Satz

Diese vier Anbieter ändern ihre Web-Search-Parameter häufiger als ihre Modelle. Ein 4xx heißt, dass eine Builder-Funktion an die aktuelle Dokumentation angepasst werden muss; nichts anderes im Skript hängt davon ab.

Was das nicht belegt

Hier genannt, statt es der Kritik zu überlassen.

Laufzahlen. Beide Kontrollfragen haben drei gültige Durchläufe auf allen vier Systemen. Ein Gemini-Lauf wurde verworfen und wiederholt, nachdem dem festgeschriebenen Prompt eine Längenvorgabe angehängt worden war; die Verwerfung steht im Änderungsprotokoll, statt still zu verschwinden.
Die erhobenen Läufe liefen über einen Drittanbieter-Endpunkt, nicht über die direkten Aufrufe dieses Skripts. Jeder Datensatz sagt das in collected_via. Wer mit eigenen Schlüsseln wiederholt, prüft dieselbe Frage auf einem leicht anderen Weg.
Die Linkzählung ist der Index eines kommerziellen Crawlers, nicht das Netz – und nicht der Index, aus dem diese Assistenten abrufen. Kein Anbieter veröffentlicht seinen.
Sechs Fragen nach festgelegten Kriterien – keine Stichprobe aus einer Grundgesamtheit. Zwei übereinstimmende Beobachtungen eines Mechanismus, keine Vermessung eines Feldes.
interested_share ist unkodiert. Das Schema verlangt, jede Domain anhand ihrer eigenen Startseite einzuordnen; dieser Durchgang steht aus.

Versionsgeschichte

Überholt, nie umgeschrieben.

Das vorab registrierte Protokoll ist registriert, und registrierte Dokumente werden überholt, nicht umgeschrieben. Jede Änderung am Paket steht hier mit Datum.

28. Aug. 2026
Korrektur der Dokumentation
Maßgeblich ist das gezählte Ergebnis in Anhang F, coding.json und coding-sheet.md: 36 gezählte Antworten zu Q1, Q4 und Q5, drei Durchläufe je System. Früherer Anhangstext bleibt als Verlauf erhalten.
19. Aug. 2026
Integritäts-Neuversiegelung
Das Manifest wurde für alle 16 Dateien neu erzeugt, nachdem eine Überarbeitung von Routen und Typografie Paketdateien verändert hatte. Keine Antwortdatensätze und keine Kodierwerte haben sich geändert.
8. Aug. 2026
Vollständig neu versiegelt
Alles veröffentlicht: jede erhobene Antwort, die von Hand kodierten Werte und die daraus erzeugte Übersicht, das Paket für die Zweitkodierung, ihre Kodes und der Durchgang selbst. Das Manifest wuchs von acht auf sechzehn Dateien.
27. Juli 2026
Erstveröffentlichung
Ein Teilstand: 11 der 47 erhobenen Antworten, ohne Kodierung.

Lizenz und Zitation

Zur Nachnutzung, auch zum Widerspruch.

Daten zitieren

Isoglu, S. (2026). Retrieval-provenance audit: what four assistants return when asked where a number comes from. isoglu.com.

CC BY 4.0

Veröffentlicht unter CC BY 4.0.

Paket: retrieval-audit
Veröffentlicht: 27. Juli 2026
Aktuelles Siegel: 19. Aug. 2026, 16 Dateien
Prüfen: sha256sum -c SHA256SUMS.txt
Auch auf Englisch: Retrieval audit

Rund um die Daten

Das Argument und die beiden Pakete daneben.

Kontakt

Schicken Sie die Frage, an der Sie arbeiten.

Forschung, ein Gastvortrag oder eine Frage aus der Praxis.