Was ist die synthetische Kontrollmethode?

Was ist die synthetische Kontrollmethode?

Die synthetische Kontrollmethode schätzt, was ein Eingriff bei einer Einheit bewirkt hat, indem sie den fehlenden Vergleich dieser Einheit aus anderen Einheiten baut. Abadie und Cattaneo (2018)¹ definieren den Vergleich: Eine synthetische Kontrolle ist ein gewichteter Durchschnitt unbehandelter Einheiten, gewählt, um die Merkmale der behandelten Einheit vor dem Eingriff nachzubilden („A synthetic control is a weighted average of untreated units chosen to reproduce characteristics of the treated unit before the intervention.“). Der geschätzte Effekt in jeder Periode nach dem Eingriff ist der Abstand zwischen dem Ergebnis der behandelten Einheit und dem der synthetischen Kontrolle.

Die Methode ist für eine häufige Lage gebaut. Abadie et al. (2010)² halten fest, dass viele politische Eingriffe und Ereignisse, die die Sozialwissenschaften untersuchen, auf aggregierter Ebene stattfinden und nur wenige aggregierte Einheiten betreffen („many policy interventions and events of interest in social sciences take place at an aggregate level (countries, regions, cities, etc.) and affect a small number of aggregate units“). Eine solche Einheit mit anderen zu vergleichen, ist eine vergleichende Fallstudie, und die Autoren nennen zwei Schwachpunkte: wie der Vergleich gewählt und wie Unsicherheit gemessen wird. Zum ersten: Forschende wählen Vergleichsgruppen oft nach subjektiv empfundener Ähnlichkeit („Researchers often select comparison groups on the basis of subjective measures of affinity between affected and unaffected units.“). Die synthetische Kontrolle engt diese Wahl ein, statt sie zu beseitigen: Datengestützte Verfahren verringern den Ermessensspielraum bei der Wahl der Vergleichseinheiten („reduce discretion in the choice of the comparison control units“), Donor-Pool und Prädiktoren legen weiterhin die Forschenden fest. Der Grundgedanke: Eine Kombination von Einheiten ist oft ein besserer Vergleich als jede einzelne Einheit („The idea behind the synthetic control approach is that a combination of units often provides a better comparison for the unit exposed to the intervention than any single unit alone.“).

In diesem Leitfaden ist eine Studie mit synthetischer Kontrolle die Schätzung des kontrafaktischen Verlaufs einer Einheit aus einem genannten Pool unbehandelter Einheiten, mit sichtbaren Gewichten, einer berichteten Passung vor dem Eingriff und einem Placebotest, der zeigt, ob der Abstand danach heraussticht. Kommerziell entsteht dieselbe Lage, wenn ein Land einen neuen Preis, eine Region eine Kampagne oder ein Vertriebsgebiet ein neues Vertriebsmodell bekommt und kein randomisierter Vergleich besteht; diese Übertragung stammt vom Autor, nicht aus den Quellen.

Der Leitfaden zur Inkrementalität nennt synthetische Kontrollregionen unter den Tests auf Marktebene, die messen, was Marketingausgaben zusätzlich bringen. Diese Seite zeigt, welche Bedingungen ein solcher Test erfüllen muss, bevor sein Ergebnis dieses Gewicht tragen kann.

Wie wird eine synthetische Kontrolle gebaut?

Aus einem Donor-Pool, mit Gewichten, die nicht negativ sind und sich zu eins addieren. Abadie und Cattaneo (2018) beschreiben den Aufbau: Die unbehandelten Einheiten bilden einen Vorrat möglicher Kontrollen, den Donor-Pool („an untreated reservoir of potential controls (a donor pool)“), und die Gewichte werden so gewählt, dass die synthetische Kontrolle der behandelten Einheit bei Merkmalen vor dem Eingriff möglichst nahekommt. Bei Abadie et al. (2010)² gehören dazu frühere Werte des Ergebnisses, und in ihrer Anwendung gewichteten die Autoren diese Merkmale so, dass der mittlere quadratische Vorhersagefehler des Ergebnisses in den Vorperioden am kleinsten wird („such that the mean squared prediction error of the outcome variable is minimized for the preintervention periods“).

Ihr Beispiel ist Kaliforniens Proposition 99, ein groß angelegtes Tabakkontrollprogramm aus dem Jahr 1988 („a large-scale tobacco control program that California implemented in 1988“). Der Donor-Pool umfasste 38 Bundesstaaten, nachdem die Autoren Staaten mit eigenen großen Tabakprogrammen und Staaten entfernt hatten, die ihre Zigarettensteuer zwischen 1989 und 2000 um 50 Cent oder mehr erhöht hatten. Das Ergebnis war eine kurze Liste: Die Rauchtrends Kaliforniens vor Proposition 99 bildet eine Kombination aus Colorado, Connecticut, Montana, Nevada und Utah am besten nach, alle anderen Staaten erhalten das Gewicht null („smoking trends in California prior to the passage of Proposition 99 is best reproduced by a combination of Colorado, Connecticut, Montana, Nevada, and Utah. All other states in the donor pool are assigned zero W-weights.“).

Wenige Gewichte ungleich null liefert die Methode im Allgemeinen dann, wenn sich die behandelte Einheit nicht exakt nachbilden lässt. Abadie und Cattaneo (2018)¹ merken an, dass die Gewichte, entartete Fälle ausgenommen, eindeutig und dünn besetzt sind („unique and sparse“), wenn die Merkmale der behandelten Einheit vor dem Eingriff außerhalb der konvexen Hülle der Merkmale der Spendereinheiten liegen; dünn besetzt heißt, dass der Gewichtsvektor nur wenige Elemente ungleich null hat („has only a few nonzero elements“). Das synthetische Kalifornien steht damit im Einklang: Seine Passung vor dem Programm ist eng, aber nicht exakt (Abbildung 2).

Warum nicht eine einzelne Vergleichseinheit oder den Durchschnitt aller nehmen?

Weil beide der behandelten Einheit vor dem Eingriff womöglich nicht gleichen. Im Tabakbeispiel glich der bevölkerungsgewichtete Durchschnitt der 38 Spenderstaaten Kalifornien nicht. Er scheine, so die Autoren, keine geeignete Kontrollgruppe für Kalifornien zu sein („does not seem to provide a suitable control group for California“). Die synthetische Version glich ihm.

Abadie et al. (2010)² nennen zwei Merkmale, die die Methode von der Regression abheben: Transparenz und Schutz vor Extrapolation („Relative to traditional regression methods, transparency and safeguard against extrapolation are two attractive features of the synthetic control method.“). Die Gewichte zeigen den relativen Beitrag jeder Kontrolleinheit zum kontrafaktischen Vergleich („the relative contribution of each control unit to the counterfactual of interest“), und weil sie sich auf nicht negative Werte mit der Summe eins beschränken lassen, bietet die Methode einen Schutz vor Extrapolation („provides a safeguard against extrapolation“). Ein weiterer Punkt, den die Autoren mit Redlichkeit in Beobachtungsstudien verbinden: Weil die Wahl der synthetischen Kontrolle keine Ergebnisse nach dem Eingriff braucht, können Forschende das Design festlegen, ohne zu wissen, wie es ihre Schlüsse beeinflusst („because the choice of a synthetic control does not require access to postintervention outcomes, the synthetic control method allows researchers to decide on study design without knowing how those decisions will affect the conclusions of their studies“).

Was nimmt die synthetische Kontrollmethode an?

Weniger als Difference-in-Differences darüber, wie unbeobachtete Faktoren über die Zeit wirken, aber sie verlangt zweierlei, was Difference-in-Differences nicht verlangt: Spender, deren Kombination die behandelte Einheit vor dem Eingriff eng nachbilden kann, und für das Argument der Autoren im Faktormodell, dass die Schätzung annähernd unverzerrt ist, eine lange Vorgeschichte. Difference-in-Differences setzt gemeinsame Trends voraus; in den Worten von Abadie und Cattaneo (2018)¹: Ohne die Behandlung hätten sich die Durchschnittsergebnisse der Behandelten und der Unbehandelten über die Zeit gleich verändert („in the absence of the treatment, the average outcome for the treated and the average outcome for the nontreated would have experienced the same variation over time“), was der Leitfaden zu parallelen Trends ausführlich behandelt. Das Modell hinter der synthetischen Kontrolle erweitert nach Abadie et al. (2010)² den herkömmlichen linearen Paneldatenrahmen (Difference-in-Differences) und lässt zu, dass sich die Wirkung unbeobachteter Variablen über die Zeit ändert („extends the traditional linear panel data (difference-in-differences) framework, allowing that the effects of unobserved variables on the outcome vary with time“).

Im Einzelnen gehören drei Bedingungen dazu. Die erste ist die Passung. Wo keine Kombination von Spendern der behandelten Einheit gleicht, raten die Autoren von einer synthetischen Kontrolle ab („the fit may be poor and then we would not recommend using a synthetic control“), und auch bei guter Passung können Interpolationsverzerrungen groß sein („interpolation biases may be large“), wenn das Ergebnis nicht linear von den Merkmalen der Einheiten abhängt und diese sich stark unterscheiden; begrenzen lassen sie sich, indem man den Donor-Pool auf ähnliche Einheiten beschränkt („the donor pool to regions with similar characteristics“). Im Faktormodell der Autoren braucht die Begründung, dass die Schätzung annähernd unverzerrt ist, beides, eine enge Passung und eine lange Vorgeschichte: Bei Gewichten, die die behandelte Einheit vor dem Eingriff nachbilden, liegt die Verzerrung nahe null, wenn die Zahl der Vorperioden im Verhältnis zur Größe vorübergehender Schocks groß ist („if the number of preintervention periods is large relative to the scale of the transitory shocks“). In einem autoregressiven Modell zeigen sie, dass schon eine einzige Vorperiode genügen kann; wie lang die Vorgeschichte sein muss, hängt also davon ab, wie das Ergebnis entsteht.

Die zweite ist das Fehlen von Interferenz. Die Notation der Autoren enthält die übliche Annahme, dass sich Einheiten nicht gegenseitig beeinflussen („the usual assumption of no interference between units“): Die Ergebnisse der unbehandelten Einheiten reagieren nicht auf den Eingriff bei der behandelten. Im Tabakfall nannten die Autoren als womöglich wichtigste Sorge („Perhaps the most important concern“), dass die Anti-Tabak-Stimmung aus Kalifornien auf andere Staaten übergegriffen und so den Donor-Pool verunreinigt haben könnte („could have spread to other states, contaminating the donor pool“). Sie hielten solche Verletzungen nicht für gravierend und merkten an, dass gerade dieses Übergreifen ihre Schätzung, wenn überhaupt, verkleinert hätte. Kommerziell ist eine Kampagne in einer Region, die Käufer in einer anderen erreicht, dasselbe Problem, das der Leitfaden zur Interferenz allgemein behandelt.

Die dritte: Der Startzeitpunkt stimmt. Eingriffe können schon vor ihrer Umsetzung wirken, etwa durch Antizipationseffekte („In practice, interventions may have an impact prior to their implementation (e.g., via anticipation effects)“), und dann kann der Start auf die erste Periode verlegt werden, in der das Ergebnis überhaupt reagieren kann („first period in which the outcome may possibly react to the intervention“).

Wie prüft man, ob der Abstand Zufall sein könnte?

Indem man dieselbe Methode auf unbehandelte Einheiten anwendet und prüft, ob der Abstand der behandelten Einheit heraussticht. In der Tabakstudie war der Abstand groß: Die Autoren schätzen, dass der jährliche Zigarettenabsatz je Einwohner in Kalifornien im Jahr 2000 um etwa 26 Packungen niedriger lag, als er ohne Proposition 99 gelegen hätte („that by the year 2000 annual per-capita cigarette sales in California were about 26 packs lower than what they would have been in the absence of Proposition 99“). Die Frage ist, ob ein Abstand wie der Kaliforniens zufällig entstehen könnte. Abadie et al. (2010) fragen, wie oft sich Ergebnisse dieser Größe ergäben, wenn man statt Kalifornien einen zufälligen Staat untersucht hätte („How often would we obtain results of this magnitude if we had chosen a state at random for the study instead of California?“). Sie weisen den Eingriff nacheinander jedem der 38 Spenderstaaten zu, schätzen für jeden einen Placeboabstand und vergleichen. Eine Zusammenfassung ist das Verhältnis des mittleren quadratischen Vorhersagefehlers nach dem Eingriff zu dem davor, das eine Schwelle für den Ausschluss schlecht passender Placeboläufe überflüssig macht („obviates choosing a cutoff for the exclusion of ill-fitting placebo runs“). Kaliforniens Verhältnis war das größte der 39. Bei zufälliger Zuweisung des Eingriffs läge die Wahrscheinlichkeit für ein so großes Verhältnis bei 1/39 = 0,026 („of obtaining a post/pre-Proposition 99 MSPE ratio as large as California’s is 1/39 = 0.026“). Diese Wahrscheinlichkeit ist ein Rang, keine Fehlermarge um die 26 Packungen. Mit 38 Spenderstaaten ist 1/39 der kleinste Wert, den diese Permutationsinferenz liefern kann; vergleichen die Autoren stattdessen nur die Abstände der 19 Spenderstaaten, die sie fast so gut anpassen können wie Kalifornien, ergibt dieselbe Überlegung 5 Prozent, wieder der kleinste Wert, den 20 Einheiten zulassen.

Der Test beantwortet eine engere Frage als ein randomisiertes Experiment. Die Autoren beschreiben ihn als Inferenz, die prüft, ob der geschätzte Effekt des tatsächlichen Eingriffs im Verhältnis zur Verteilung der Effekte bei nicht betroffenen Regionen groß ist („examines whether or not the estimated effect of the actual intervention is large relative to the distribution of the effects estimated for the regions not exposed to the intervention“). Informativ ist diese Inferenz, wenn ohne Wirkung des Eingriffs nicht zu erwarten wäre, dass der geschätzte Effekt im Vergleich zur Verteilung der Placeboeffekte auffällt („informative inference if under the hypothesis of no intervention effect the estimated effect of the intervention is not expected to be abnormal relative to the distribution of the placebo effects“). Zur klassischen Randomisierungsinferenz wird er nur, wenn der Eingriff tatsächlich zufällig auf die Regionen verteilt wurde, eine recht einschränkende Bedingung („for the case where the intervention is indeed randomized across regions, a rather restrictive condition“). Abadie und Cattaneo (2018)¹ nennen ihn ein Inferenzverfahren für synthetische Kontrollen auf Grundlage von Fishers Randomisierungsinferenz („an inferential method for synthetic controls based on Fisher’s randomization inference“).

Wie hält man eine Studie mit synthetischer Kontrolle fest?

Als ein Blatt, das behandelte Einheit, Startzeitpunkt, Donor-Pool mit Ausschlüssen, Prädiktoren und Passung vor dem Eingriff festlegt, bevor irgendein Ergebnis nach dem Start angesehen wird, und danach die Placeboergebnisse und die Aussage ergänzt, die sie stützen. Die Reihenfolge folgt dem Hinweis der Autoren, dass sich das Design ohne die Ergebnisse nach dem Eingriff festlegen lässt.

Ein Anwendungsbeispiel ohne Unternehmensdaten: Ein Unternehmen erhöht in einem Land, etwa in Österreich, die Listenpreise und will die Wirkung auf den Stückabsatz kennen. Das Blatt nennt das Land und das Datum der Ankündigung, weil Käufer schon auf die Ankündigung reagieren können, bevor die neuen Preise gelten; es führt die anderen Länder als Donor-Pool und entfernt jene, die im selben Zeitraum Preise änderten oder eine große Kampagne schalteten; es legt die Prädiktoren fest, etwa mehrere Jahre monatlicher Absätze; und es prüft, ob Käufer im behandelten Land über ein Nachbarland kaufen könnten, etwa bei Onlinehändlern in Deutschland. Ist die Passung vor der Änderung schlecht, endet das Blatt dort.

Wo endet die Evidenz zur synthetischen Kontrollmethode?

Bei der Methode und einer Anwendung. Abadie et al. (2010)² ist eine Methodenarbeit, deren Anwendung ein gesundheitspolitisches Programm eines Bundesstaats ist, mit einem jährlich gemessenen Ergebnis über drei Jahrzehnte. Abadie und Cattaneo (2018)¹ ist eine Übersicht, die Varianten für Fälle nennt, die das Original nicht gut abdeckt: Bei vielen behandelten Einheiten könne es synthetische Kontrollen geben, die weder eindeutig noch dünn besetzt sind („there may be synthetic controls that are not unique or sparse“), und andere Autoren schlagen Varianten vor, die über den Wertebereich der Spendereinheiten hinaus extrapolieren („propose variants of the synthetic control framework that extrapolate outside of the support“). Keine der beiden Quellen nennt eine Mindestzahl von Spendereinheiten oder Vorperioden, und keine prüft die Methode an kommerziellen Daten. Kommerzielle Anwendungen haben oft kurze Historien, wenige vergleichbare Märkte und Einheiten, die einander beeinflussen; das macht es schwerer, eine enge Passung zu erreichen, eine lange Reihe von Vorperioden zu haben und Interferenz auszuschließen. Diese Lesart und jedes kommerzielle Beispiel in diesem Leitfaden stammen vom Autor.