Auf dieser Seite
Ein Ergebnis kann verständlich zu lesen und trotzdem unmöglich neu aufzubauen sein. Die Datendatei fehlt. Ein manueller Ausschluss wurde in einer Tabelle vorgenommen. Die Analyse nutzte eine Bibliotheksversion, die niemand notiert hat. Das veröffentlichte Diagramm enthält keine Regel dafür, welche Zeilen eingegangen sind.
Reproduzierbarkeit fragt, ob eine andere Person ein Ergebnis aus den dafür erklärten Materialien und dem beschriebenen Vorgehen rekonstruieren kann. Das Objekt ist der Weg von der Frage zur Ausgabe, nicht die Sicherheit oder Bedeutung des Ergebnisses.
Der Beitrag zur Stoppregel im Evidenzreview fragt, wann eine Aussage Entscheidungsgewicht verdient. Der Beitrag zur Messinvarianz fragt, ob ein Ergebnis auf ein benanntes Ziel übertragen werden kann. Diese Seite fragt früher: Kann eine andere Person das Ergebnis überhaupt erneut ausführen?
Was bedeutet Reproduzierbarkeit?
Der praktische Vertrag benennt:
| Bestandteil | Erforderliche Frage | Beispiel für einen Fehler |
|---|---|---|
| Frage oder Estimand | Was sollte berechnet oder verglichen werden? | Das Diagramm hat keine Zielgröße |
| Eingaben | Welche Dateien, Versionen, Filter und Zugänge wurden verwendet? | Aktuelle Tabelle ersetzt den historischen Snapshot |
| Vorgehen | Welche Transformationen, Ausschlüsse und Entscheidungen kamen in welcher Reihenfolge? | Manueller Schritt ist nur erinnert, nicht dokumentiert |
| Code | Welches Analyseskript und welche Parameter erzeugten die Ausgabe? | Notebook-Zelle oder Formel fehlt |
| Umgebung | Welche Laufzeit, Bibliotheken, Konfigurationen und Zufallszustände sind relevant? | Paket-Update verändert das Ergebnis |
| Ausgabe | Welche Tabelle, Schätzung, Grafik oder Datei soll entstehen? | „Dasselbe Ergebnis“ hat keine Toleranzregel |
Tabelle 1Was bedeutet Reproduzierbarkeit?
Quelle: Tabelle aus diesem Essay. Quellen und Einordnung stehen im Beitrag.
Banzi u. a. (2026) legen eine Konsensliste zentraler Reproduzierbarkeitselemente in Planung, Methoden, Datenerhebung, Datenmanagement und Analyse sowie Verbreitung vor. Das ist eine wissenschaftliche Konsenssicht und keine geprüfte Scorecard für Unternehmen. Ihr Wert hier liegt in der Breite des Rekonstruktionsvertrags: Reproduzierbarkeit beginnt vor der letzten Berechnung.
Ist Reproduzierbarkeit dasselbe wie Replikation?
Nein. Halten Sie die Prüfungen getrennt:
| Prüfung | Daten und Vorgehen | Beantwortete Frage | Was sie nicht beantwortet |
|---|---|---|---|
| Reproduzierbarkeit | Dieselben erklärten Materialien und Schritte | Kann das Ergebnis rekonstruiert werden? | Ob das Ergebnis wahr oder allgemein ist |
| Replikation | Neue Beobachtung oder neue Daten bei möglichst ähnlichem Design | Wiederholt sich ein Ergebnis? | Ob der ursprüngliche Workflow vollständig rekonstruierbar war |
| Externe Validität | Ausgangsergebnis und benanntes Ziel | Ist die Aussage übertragbar? | Ob die Ausgangsanalyse erneut laufen kann |
Tabelle 2Ist Reproduzierbarkeit dasselbe wie Replikation?
Quelle: Tabelle aus diesem Essay. Quellen und Einordnung stehen im Beitrag.
Die Open Science Collaboration führte 100 psychologische Studien erneut durch und berichtete mehr als ein Maß für Replikationserfolg. Die Lehre für einen kommerziellen Review ist keine zu übernehmende Prozentzahl. Die Frage „Hat es repliziert?“ braucht ein erklärtes Kriterium, eine Population, ein Ergebnis und einen Vergleich.
Wie sieht ein Rekonstruktions-Arbeitsblatt aus?
Die sechs Zeilen sind synthetisch. Sie zeigen Bereitschaftszustände, keine Reproduzierbarkeitsquote für ein Unternehmen, eine Disziplin oder einen Datensatz.
| ID | Frage oder Ausgabe | Eingaben und Datenpaket | Code und Umgebung | Erwartete Ausgabe | Laufstatus und Entscheidung |
|---|---|---|---|---|---|
| R-01 | Kohortenquote an Tag 14 | Snapshot V3 und Zulässigkeitsregel gehalten | Skript S-12; Laufzeit erfasst | 50,0 % | Innerhalb der Toleranz bestätigt |
| R-02 | Umsatzbrücke je Position | Rechnungsdatei gehalten; Produktzuordnung unklar | Skript S-18; Paket-Lock fehlt | Fünf-Effekt-Brücke | Abweichungsrisiko; Freigabe halten |
| R-03 | Survey-Mittel je Sprache | Datenpaket und Codebuch gehalten | Skript gehalten; manueller Ausschluss | Mittelwerte und Anzahlen | Lauf offen bis Ausschlusslog vorliegt |
| R-04 | Prognosefehler je Horizont | Basisprognose und Istwerte gehalten | Notebook und Bibliotheksversionen gehalten | Fehler-Tabelle und Grafik | Bestätigt; keine Kausalitätsaussage |
| R-05 | Kunden-Segmentmodell | Zugang eingeschränkt; nur abgeleitete Datei | Skript verfügbar; Zufallsstart fehlt | Modellkennzahlen | Eingabe nicht verfügbar; Rekonstruktion nicht möglich |
| R-06 | Behandlungsvergleich | Präregistrierte Daten und Regel gehalten | Skript und Umgebung gehalten | Effektschätzung und Intervall | Rekonstruiert; Replikation bleibt offen |
Abbildung 1Das synthetische Rekonstruktions-Arbeitsblatt
Die Zeilen sind illustrativ. Bestätigte Rekonstruktion, Replikation und Kausalvalidität bleiben getrennte Zustände.
Quelle: Synthetisches Arbeitsblatt des Autors auf Grundlage von Banzi u. a. (2026) und der Open Science Collaboration (2015); alle Zeilen und Zustände sind illustrativ.
R-02 ist nicht „fast reproduzierbar“, nur weil die fertige Grafik plausibel aussieht. Eine fehlende Produktzuordnung kann die Positionen verändern. R-05 ist nicht gelöst, wenn Modellkennzahlen veröffentlicht werden, die Eingabe aber nicht rekonstruiert werden kann. R-06 ist als Workflow reproduzierbar, während die Replikationsfrage wegen der neuen Beobachtung offen bleibt.
Welche Entscheidungen gehören in den Workflow-Datensatz?
Halten Sie diese Entscheidungen sichtbar, statt sie in Prosa zu verstecken:
- Einheit, Zielgröße und Analysefenster;
- Quelldatei, Snapshot, Version und Zugangsbedingung;
- jeder Filter, Ausschluss, Join, jede Transformation und manuelle Änderung;
- Analyseskript, Parameterdatei, Laufzeit, Bibliotheksversionen und Zufallsstart, soweit relevant;
- erwartete Ausgabe, Vergleichstoleranz und bekannte Nichtdeterministik;
- Person oder Prozess, die eine Änderung freigegeben haben, mit Datum;
- Ergebnis des erneuten Laufs einschließlich Abweichung und Nichtverfügbarkeit.
Eine Präregistrierung kann ausgewählte Fragen oder Analyseentscheidungen vor der Beobachtung festhalten. Sie macht eine Analyse nicht unveränderbar. Eine Änderung kann legitim sein, wenn sie datiert, begründet und von der ursprünglichen Planung getrennt wird.
Was kann ein erfolgreicher erneuter Lauf beweisen?
Er kann zeigen, dass der erklärte Pfad unter der erklärten Umgebung die erklärte Ausgabe erzeugt. Er beweist damit allein nicht, dass die Eingabe korrekt, das Konstrukt valide, das Modell richtig spezifiziert, der Vergleich kausal oder das Ergebnis auf ein neues Ziel übertragbar ist.
Darum sollte ein Rekonstruktions-Arbeitsblatt sowohl Status als auch Entscheidung enthalten. Ein bestätigter Lauf kann die Methode für die Prüfung freigeben. Eine Abweichung kann eine Fehlersuche öffnen. Eine nicht verfügbare Eingabe kann eine stärkere Aussage blockieren. Kein Status ist selbst ein inhaltliches Ergebnis.
Wie prüft ein Team Reproduzierbarkeit?
- Frage, Einheit, Ergebnis und Beobachtungsfenster einfrieren.
- Exakte Eingabeversionen und Datenpaket zusammenstellen.
- Jede Transformation, jeden Ausschluss und manuellen Schritt wiederholen.
- Erklärtes Skript in der erklärten Umgebung ausführen.
- Ausgabe mit Toleranz oder Exaktvergleich gegen das berichtete Ergebnis prüfen.
- Abweichung, fehlende Eingabe, Umgebungsdrift oder erfolgreiche Rekonstruktion protokollieren.
- Neue Daten als Replikation und ein verändertes Ziel als externe Validität behandeln.
Reproduzierbarkeit ist Evidenz über den Rekonstruktionspfad. Sie ist kein universeller Score, keine Wahrheitsgarantie und kein Ersatz für eine neue Studie.
Referenzen
- Banzi, R., Varga, M., Gelsleichter, Y. A., Vinatier, C., Moher, D., & Naudet, F. (2026). An international consensus on core reproducibility items in research. PLoS Biology, 24(4), e3003726. https://doi.org/10.1371/journal.pbio.3003726
- Open Science Collaboration. (2015). Estimating the reproducibility of psychological science. Science, 349(6251), aac4716. https://doi.org/10.1126/science.aac4716