Was ist externe Validität? Ein Ergebnis braucht eine Transfergrenze

Ein randomisiertes Experiment kann gut angelegt sein und trotzdem eine engere Frage beantworten, als ein kommerzielles Team stellen möchte. Es kann einen Effekt für zulässige Testnutzer in einem Land, unter einer Onboarding-Intervention und mit einem Ereignis über 14 Tage schätzen. Sobald eine Führungskraft fragt, ob dasselbe Ergebnis für Enterprise-Accounts, eine vertriebsgeführte Implementierung oder eine Verlängerung nach 90 Tagen gilt, hat sich die Frage verändert.

Diese veränderte Frage ist der Ausgangspunkt für externe Validität. Sie fragt, ob ein Ergebnis auf ein bestimmtes Ziel übertragen werden kann. Sie versieht eine Studie nicht mit universeller Relevanz.

Der Beitrag zum Kundenmodell trennt nächsten Kauf, partielle Abwanderung und Profitabilitätsentwicklung als Prognoseergebnisse. Der Beitrag zum Fallstudiendesign hält Fallgrenze und Transferbedingungen sichtbar. Der Beitrag zur Messinvarianz fragt, ob ein Konstrukt in englischen und deutschen Gruppen vergleichbar gemessen wird. Diese Seite besitzt die Frage zwischen Ergebnis und Ziel: Was müsste vergleichbar bleiben, bevor das Ergebnis übertragen werden kann?

Was bedeutet externe Validität?

Interne und externe Validität beantworten unterschiedliche Fragen. Interne Validität fragt, ob der Vergleich oder der kausale Kontrast innerhalb des Studiendesigns glaubwürdig ist. Externe Validität fragt, ob dieselbe Schlussfolgerung für ein Ziel glaubwürdig ist, das außerhalb dieses Designs liegt oder sich von ihm unterscheidet.

Egami und Hartman machen die Unterscheidung formal, indem sie das Ziel explizit definieren. Bevor ein kausaler Schluss übertragen wird, müssen Zielpopulation, Zielintervention, Zielergebnis und Zielkontext benannt sein. Der Punkt ist stärker als ein Abschnitt zu „Limitationen“: Keine Studie ist universell extern valide, weil jede Transferfrage ein Ziel hat.

Die praktische Definition ist deshalb relational:

Externe Validität ist die Glaubwürdigkeit eines erklärten Ausgangsergebnisses für ein erklärtes Ziel, bedingt durch die Dimensionen und Annahmen, die beide verbinden.

Ausgangsergebnis und Zielaussage sind nicht dasselbe Objekt. Eine Studie kann intern glaubwürdig und ihre Transfergrenze trotzdem offen sein. Ein großes Ziel repariert auch keinen schwachen Quellenvergleich. Die beiden Validitätsfragen müssen nacheinander geprüft werden.

Welche vier Dimensionen verändern die Transferfrage?

Prüfen Sie vier Felder, bevor Sie „generalisierbar“ sagen. Sie entsprechen den X-, T-, Y- und C-Dimensionen im Rahmen von Egami und Hartman:

Dimension	Verändertes Objekt	Prüffrage	Typische versteckte Ersetzung
X-Validität	Population oder Einheit	Wer war in der Quelle und wer ist im Ziel?	Testnutzer werden zu Enterprise-Accounts
T-Validität	Intervention oder Umsetzung	Ist die Zielintervention im relevanten Sinn dieselbe?	Eine E-Mail-Sequenz wird zu einem vertriebsgeführten Programm
Y-Validität	Ergebnis oder Messung	Sind Konstrukt, Ereignis und Zeitraum gleich?	Erster Berichtsexport wird zur Verlängerung nach 90 Tagen
C-Validität	Kontext oder Setting	Können Geografie, Institution, Kanal, Sprache, Regulierung oder Zeit den Mechanismus ändern?	Bedingungen eines Marktes werden zu Bedingungen eines anderen

Die Dimensionen können sich gemeinsam verändern. Eine deutsche Enterprise-Implementierung kann Population, Intervention, Kontext und die praktische Bedeutung des Ergebnisses zugleich verändern. Das ist kein Grund, die Prüfung aufzugeben. Es ist ein Grund, nicht länger von „demselben Ergebnis“ zu sprechen, bevor Änderungen und Folgen sichtbar sind.

Die Messung braucht innerhalb des Ergebnisfeldes eine eigene Zeile. Ein Ziel kann dasselbe Etikett verwenden und trotzdem ein anderes Ereignis, einen anderen Schwellenwert oder einen anderen Zeithorizont erfassen. Die Frage der Messinvarianz ist nicht identisch mit externer Validität. Eine veränderte Messung kann aber den Ergebnisvergleich blockieren, auf dem der Transfer beruht.

Was ist der Unterschied zwischen Generalisierbarkeit, Transportierbarkeit und Replikation?

Die Begriffe unterscheiden sich je nach Fachgebiet. Lassen Sie den Begriff deshalb nicht an die Stelle des Ziels treten. Verwenden Sie sie als praktische Entscheidungswörter:

Entscheidung	Verhältnis von Quelle und Ziel	Welche Evidenz noch nötig ist	Ehrliches Ergebnis
Replikation	Population, Intervention, Ergebnis und Kontext sollen gleich bleiben, bei neuer Beobachtung oder Stichprobe	Quelldesign wiederholen und prüfen, ob das Ergebnis erneut auftritt	Ergebnis repliziert oder nicht repliziert
Transport	Mindestens ein Zielfeld wird absichtlich verändert	Brücke durch Zieldaten, gemessene Effektmodifikatoren, geplante Variation oder eine neue Zielstudie	Zielaussage gestützt, begrenzt oder offen
Analogie	Produkt, Markt oder Mechanismus klingt nur ähnlich	Ein passender Vergleich wurde nicht vorgelegt	Hypothese oder Vorannahme, kein Transferergebnis

Eine Replikation kann die Sicherheit des Ausgangsergebnisses stärken, ohne eine andere Zielfrage zu beantworten. Transport versucht ausdrücklich, diese andere Frage zu beantworten. Eine Analogie bleibt übrig, wenn Ähnlichkeit beschrieben wird, aber die Brücke fehlt.

Wie unterscheiden sich Effektgeneralisierung und die Generalisierung der Wirkungsrichtung?

Manchmal braucht die Leserin oder der Leser die Größe des Effekts. „Erhöht die Intervention den Anteil erster Wertereignisse im Ziel um ungefähr acht Prozentpunkte?“ Das ist eine Frage der Effektgeneralisierung.

Manchmal genügt die Richtung. „Verbessert die Intervention das Ergebnis im Ziel, auch wenn die Größe unsicher ist?“ Das ist die Generalisierung der Wirkungsrichtung. Dieses Ziel ist schwächer als die Übertragung einer präzisen Größe. Es bleibt aber eine Aussage über ein bestimmtes Ziel und ein bestimmtes Ergebnis.

Weniger ambitioniert bedeutet nicht voraussetzungslos. Eine Richtungsbehauptung setzt weiterhin voraus, dass der Zieleffekt über die relevanten Dimensionen nicht das Vorzeichen wechselt. Gezielte Variation kann die Richtung nur stützen, wenn Moderatoreninteraktionen im zielrelevanten Bereich nicht null kreuzen. Wenn Effekte in einer unbeobachteten oder nicht gestützten Schicht das Vorzeichen wechseln, identifiziert ein positives Ausgangsergebnis keinen positiven Zieleffekt.

Egami und Hartman trennen die Ziele, weil sie unterschiedliche Annahmen und Methoden brauchen. Für Effektgeneralisierung diskutieren sie gewichtungsbasierte, ergebnisbasierte und doppelt robuste Schätzer. Für die Wirkungsrichtung entwickeln sie ein Mehrfachtestverfahren, das geplante Variation über relevante Dimensionen nutzen kann. Dass es eine Methode gibt, bedeutet nicht, dass die Leserin oder der Leser sie ausgeführt hat. Design und Daten müssen die Zielfrage weiterhin tragen.

Diese Unterscheidung liefert ein klares Stoppsignal. Kann eine Studie plausibel nur die Richtung tragen, darf keine Zielgröße berichtet werden, als sei sie übertragen. Hängt selbst die Richtung von einem nicht gemessenen Kontextmechanismus ab, kann das ehrliche Ergebnis „nicht identifiziert“ lauten.

Wie sieht eine Transfermatrix aus?

Die Matrix ist ein synthetisches Arbeitsbeispiel. Die Ausgangszeile stellt ein illustratives Ergebnis von plus acht Prozentpunkten für den Export des ersten Berichts dar. Keine Zeile ist ein reales Experiment oder Kundenergebnis. Jede Zielzeile verändert ein Feld, damit die Aussagegrenze sichtbar wird, bevor ein Team über die Zahl streitet.

ID	Ausgangs- oder Zielobjekt	Intervention und Vergleich	Ergebnis und Zeitraum	Kontext	Verändertes Feld	Urteil
S-01	US-amerikanische selbstbediente SMB-Testaccounts	E-Mail-Onboarding gegenüber Kontrollgruppe	Erster Berichtsexport bis Tag 14	US-Self-Service, synthetisches Ausgangssetting	Keines	Ausgangsergebnis: plus 8 Prozentpunkte, nur illustrativ
R-01	Neue Stichprobe derselben US-amerikanischen Self-Service-SMB-Zielpopulation	Dasselbe E-Mail-Onboarding gegenüber Kontrollgruppe	Dasselbe erste Wertereignis bis Tag 14	Dasselbe Ausgangssetting	Absichtlich keines	Replikationskandidat; Quelldesign wiederholen
T-01	US-amerikanische Enterprise-Accounts	Dasselbe E-Mail-Onboarding gegenüber Kontrollgruppe	Dasselbe erste Wertereignis bis Tag 14	Dasselbe Ausgangssetting	Population	Ohne Evidenz zur Zielpopulation nicht transportieren
T-02	Dieselben US-amerikanischen Self-Service-SMB-Accounts	Vertriebsgeführte Implementierung gegenüber Kontrollgruppe	Dasselbe erste Wertereignis bis Tag 14	Dasselbe Ausgangssetting	Intervention	Neue Interventionsfrage; der Quelleneffekt identifiziert sie nicht
T-03	Dieselben US-amerikanischen Self-Service-SMB-Accounts	Dasselbe E-Mail-Onboarding gegenüber Kontrollgruppe	Verlängerung nach 90 Tagen	Dasselbe Ausgangssetting	Ergebnis und Zeit	Neue Ergebnisfrage; Aktivierungsergebnis identifiziert keine Verlängerung
T-04	Dasselbe Kundenprofil in einem DACH-Betriebskontext	Dasselbe E-Mail-Onboarding gegenüber Kontrollgruppe	Dasselbe erste Wertereignis bis Tag 14	Anderer regulatorischer und operativer Kontext	Kontext	Kontextbrücke und Zielevidenz erforderlich

Die Matrix sagt nicht, dass jede Differenz einen Transfer zerstört. Sie sagt, dass jede Differenz benannt werden muss. Eine Populationsänderung kann mit Zielkovariaten und einer plausiblen Überlappungsannahme bearbeitet werden. Eine Interventionsänderung kann ein neues Experiment verlangen. Eine Ergebnisänderung kann eine neue Messung und einen neuen Zeithorizont verlangen. Eine Kontextänderung kann Evidenz zu Mechanismen oder wirkungsmodifizierenden Bedingungen verlangen.

Welche Zieldaten können einen Transfer stützen?

Beginnen Sie mit den Schätzobjekten in Alltagssprache:

Ausgangsaussage: der Effekt der untersuchten Intervention gegenüber dem Vergleich auf das erklärte Ergebnis für die Ausgangspopulation, unter Ausgangskontext und Ausgangszeitraum.

Zielaussage: der Effekt der Zielintervention gegenüber dem Vergleich auf das erklärte Zielergebnis für die Zielpopulation, unter Zielkontext und Zielzeitraum.

Die Brücke dazwischen ist kein erzählender Satz. Sie ist Evidenz über die veränderten Felder. Relevante Vorbehandlungsvariablen können Kundentyp, Ausgangsfähigkeit, Kanal, Geografie, Implementierungsmodell oder ein anderer Wirkungsmodifikator sein. Die Variable ist nur dann hilfreich, wenn sie so gemessen wird, dass sie Ausgangs- und Zielobjekt verbindet und das Studiendesign die beabsichtigte Deutung trägt.

Egami und Hartman beschreiben drei breite Schätzerfamilien für Effektgeneralisierung: gewichtungsbasierte, ergebnisbasierte und doppelt robuste Ansätze. Sie betonen auch, dass Zieldaten und Annahmen das gewählte Ziel erreichbar machen müssen. Erfassen Sie deshalb, ob Zielvariablen beobachtet werden, ob Ausgangs- und Zielbereich überlappen und ob Intervention und Ergebnis tatsächlich dieselben Objekte sind.

Diese Überschneidung hat einen präziseren Namen: Positivität oder gemeinsamer Stützbereich. Für jede im Ziel vertretene Schicht gemessener Effektmoderatoren muss die Quelldatenquelle Einheiten mit positiver Repräsentationswahrscheinlichkeit enthalten. Außerdem müssen die für den Zielvergleich relevante Intervention und der Vergleichswert jeweils mit positiver Wahrscheinlichkeit beobachtet werden. Operativ prüfen Sie $P(S = 1 \mid X = x) > 0$ und $P(A = a \mid X = x, S = 1) > 0$ für jedes zielrelevante $x$ und jeden Interventionswert $a$. Gewichtungs-, Outcome-Modell- und doubly-robuste Schätzer bearbeiten die Brücke unterschiedlich, aber ohne diese Stütze ist der Zieleffekt aus dem Ausgangsergebnis ohne zusätzliche Annahmen nichtparametrisch identifizierbar. Enthält das Ziel Merkmalskombinationen, die in der Quelle fehlen, etwa Unternehmensgrößen im Enterprise-Bereich oder alte Sicherheitsvorgaben, braucht der Transfer ein neues Design oder explizite Extrapolationsannahmen.

Fehlt eine Zielvariable, liegt das Ziel außerhalb des beobachteten Bereichs oder ändert sich der Kontextmechanismus so, dass die Daten ihn nicht prüfen können, ist der Transfer aus dem Ausgangsergebnis nicht identifiziert. Das ist ein gültiger Befund. Eine Methodenseite sollte es ermöglichen, ohne erfundene Sicherheit anzuhalten.

Warum beweist eine Replikation keine externe Validität?

Replikation und Transfer hängen zusammen, sind aber nicht austauschbar. Eine Replikation kann Ausgangspopulation, Intervention, Ergebnis, Kontext und Analyse in einer neuen Stichprobe wiederholen. Tritt das Ergebnis erneut auf, wird die Ausgangsaussage unter diesem Design besser gestützt. Die Frage ändert sich trotzdem, sobald Population, Intervention, Ergebnis oder Kontext wechseln.

Campbells Diskussion geplanter sozialer Veränderung ist als historische Perspektive nützlich, weil sie die Prüfung an das Setting bindet, in dem eine Veränderung geplant wurde, und an die praktische Notwendigkeit von Replikation und Kreuzvalidierung. Die Lehre hier ist begrenzt: Ein Ergebnis sollte nicht aus seinem Setting gelöst und dann standardmäßig als übertragbar behandelt werden.

Darum genügt auch „derselbe Mechanismus“ nicht. Mechanismen sind in Personen, Institutionen, Anreize, Messung und Zeit eingebettet. Ändert sich eine dieser Bedingungen im Ziel, ist der Mechanismus eine zu prüfende Hypothese und kein Transferzertifikat.

Was ist externe Validität nicht?

Externe Validität ist nicht:

• Ein universeller Qualitätsscore. Eine Studie kann für ein enges Ziel sehr gut und für ein anderes nicht informativ sein.
• Statistische Signifikanz. Ein kleiner p-Wert beschreibt Evidenz innerhalb des erklärten Designs. Er benennt kein neues Ziel.
• Eine Stichprobenschwelle. Mehr Beobachtungen können Präzision erhöhen, ohne Überlappung bei Population, Intervention, Ergebnis oder Kontext zu schaffen.
• Ein Ähnlichkeitsetikett für Produkt oder Markt. „B2B“, „Onboarding“ oder „Aktivierung“ kann unterschiedliche Einheiten und Interventionen verbergen.
• Ein Ersatz für Messprüfungen. Das Ergebnis muss im Ziel weiterhin dasselbe Konstrukt oder Ereignis abbilden.
• Ein aktuelles Unternehmensergebnis. Eine veröffentlichte Studie validiert keine Aussage über eigene Kunden, ein Angebot oder einen Markt.
• Ein kausaler Effekt des Transferprozesses. Die Matrix ordnet eine Inferenz, erzeugt aber selbst kein Gegenfaktum.

Das belastbare Evidenzreview ist der benachbarte Besitzer für Suchabschluss und Extraktionsstruktur. Es beseitigt nicht die Notwendigkeit, das Ziel zu definieren, wenn eine Schlussfolgerung über die geprüften Quellen hinaus bewegt wird.

Wie prüft ein Team eine Transferaussage?

Nutzen Sie diese Reihenfolge, bevor ein Studienergebnis in einen Business Case, eine Produktentscheidung oder eine Forschungsschlussfolgerung gelangt:

1. Ausgangsschätzobjekt schreiben. Benennen Sie Ausgangspopulation, Intervention, Vergleich, Ergebnis, Messung, Kontext und Zeitraum.
2. Zielschätzobjekt benennen. Schreiben Sie die Population, Intervention, Vergleich, Ergebnis, Messung, Kontext und den Zeitraum auf, die tatsächlich interessieren.
3. Vier Dimensionen markieren. Kennzeichnen Sie jede Änderung als Population, Intervention, Ergebnis, Kontext oder Kombination.
4. Ziel wählen. Entscheiden Sie, ob die Aussage die Effektgröße oder nur die Wirkungsrichtung braucht.
5. Brücke auflisten. Erfassen Sie Wirkungsmodifikatoren, Zieldaten, Überlappung, Messprüfungen und Annahmen.
6. Entscheidung klassifizieren. Nennen Sie Replikation, Transport oder Analogie. Verwenden Sie „generalisierbar“ nicht ohne diese Einordnung.
7. Kleinstes Urteil schreiben. Nutzen Sie gestützt, begrenzt, nicht identifiziert oder neue Evidenz erforderlich. Notieren Sie, was das Urteil ändern würde.

Muster	Erste Frage	Kleinstes ehrliches Urteil
Dieselben Ausgangsobjekte und dasselbe Setting, neue Stichprobe	Wurde das Ausgangsdesign ohne Änderung des Schätzobjekts wiederholt?	Replikationskandidat
Neue Population mit gemessener Ausgangs-Ziel-Überlappung	Sind wirkungsmodifizierende Variablen in beiden Populationen beobachtet?	Transport kann unter erklärten Annahmen analysierbar sein
Neue Interventionsumsetzung	Ist die Zielintervention kausal gleichwertig und nicht nur gleich benannt?	Neue Interventionsevidenz erforderlich
Neues Ergebnis oder neuer Zeitraum	Misst das Zielereignis dasselbe Konstrukt an derselben zeitlichen Grenze?	Zielergebnis nicht aus der Quelle schließen
Neuer Kontext oder neue Institution	Kann sich der Mechanismus durch Regulierung, Kanal, Sprache oder Zeit ändern?	Kontextbrücke erforderlich
Ähnliches Etikett ohne Vergleichsprotokoll	Welche Felder sind tatsächlich gleich und welche nur angenommen?	Nur Analogie
Zieldaten oder Überlappung fehlen	Kann die Zielaussage mit vorhandenem Design und Daten geprüft werden?	Nicht identifiziert

Diese Karte zwingt nicht jedes Ergebnis in eine Transportanalyse. Sie macht sichtbar, wann eine größere Aussage abgelehnt, eine neue Studie verlangt oder die Entscheidung auf das Ausgangssetting begrenzt werden sollte.

Kann externe Validität eine Entscheidung sicherer machen?

Sie kann die Entscheidung präziser machen, aber keine Evidenz erzeugen. Der nützliche Output kann ein gestützter Transfer, ein begrenzter Transfer, eine Replikationsanforderung, eine Anfrage nach Zieldaten oder ein klarer Stopp sein.

Egami und Hartman weisen ausdrücklich darauf hin, dass glaubwürdige Effektgeneralisierung oder Richtungsgeneralisierung wegen Design, verfügbaren Daten oder der Beschaffenheit des Zielproblems unmöglich sein kann. Das ist kein Schreibfehler. Es ist das richtige Ergebnis, wenn die Zielaussage die Brücke übersteigt.

Der weiterführende Satz sollte deshalb konkret sein: Für dieses Ausgangsergebnis verändert dieses Ziel diese Felder, das ist das Transferziel, diese Annahmen verbinden beide, und das bleibt unidentifiziert. So wird externe Validität zu einer operativen Disziplin. Das ist nützlicher, als ein Ergebnis als „generalisierbar“ zu bezeichnen und das Ziel offenzulassen.

Referenzen

1. Campbell, D. T. (1979). Assessing the impact of planned social change. Evaluation and Program Planning, 2(1), 67-90. https://doi.org/10.1016/0149-7189(79)90048-X
2. Egami, N., & Hartman, E. (2023). Elements of external validity: Framework, design, and analysis. American Political Science Review, 117(3), 1070-1088. https://doi.org/10.1017/S0003055422000880