Evidenz statt Anekdote – was eine Zahl überstanden haben muss.

Eine Anbieterpräsentation und ein Fachaufsatz landen in derselben Woche auf Ihrem Tisch, vor derselben Entscheidung. Die Präsentation zeigt einen Kunden, der aussieht wie Sie, und einen zweistelligen Zuwachs. Der Aufsatz zeigt einen Durchschnittseffekt und eine Seite Einschränkungen. Wenn Sie ehrlich sind, bewegt Sie die Präsentation mehr. Die Regel, die mir die Promotion eingebaut hat, sagt: Der Instinkt zielt auf die falsche Achse. Eine Zahl wird nach dem Auswahlprozess beurteilt, den sie überstanden hat – nicht nach dem Dokument, in dem sie ankommt. Der eigentliche Unterschied zwischen den beiden Seiten ist, dass die eine zeigt, was ihre Zahl überstanden hat, und die andere nichts davon.

„Evidenz statt Anekdote“ wird meist gelesen als: Aufsätze schlagen Präsentationen. Das ist hier nicht die These. Auch die Präsentation ist Evidenz – für irgendetwas, auf irgendeine Frage. Die These ist: Zahlen erreichen Entscheidungen durch Filter; der Filter entscheidet, was die Zahl beweisen kann; und das Genre der Präsentation zeigt nichts von diesem Filter. Die Arbeitsfrage lautet deshalb nicht, welchem Dokument man Respekt schuldet, sondern: Was musste jede dieser Zahlen überstehen, um auf die Seite zu gelangen?

Was Selektion allein aus einer Zahl macht, einmal gemessen

Die sauberste Messung dieses Filters stammt aus einer unglamourösen Ecke: von staatlichen Nudge-Einheiten. Stefano DellaVigna und Elizabeth Linos haben sämtliche randomisierten Studien zweier der größten US-Einheiten zusammengetragen – 126 Studien mit 23 Millionen Menschen, nichts blieb in der Schublade – und sie gegen eine Stichprobe publizierter Nudge-Studien aus zwei akademischen Metaanalysen gehalten. In der publizierten Stichprobe verbesserte die durchschnittliche Maßnahme die Inanspruchnahme um 8,7 Prozentpunkte, ein Plus von 33,4 Prozent gegenüber der Kontrollgruppe. Über alles, was die Einheiten tatsächlich durchführten: 1,4 Punkte, ein Plus von 8,0 Prozent – in den Worten der Autoren „still sizable and highly statistically significant“, also weiterhin beachtlich und statistisch hochsignifikant.

Die Lücke ist kein Betrug, und sie liegt überwiegend nicht einmal an den Maßnahmen. Das Modell der Autoren führt rund 70 Prozent der Differenz auf selektive Publikation, verschärft durch geringe statistische Power zurück: einzeln ehrliche Studien, gefiltert danach, welche Ergebnisse auffällig genug waren, um aufgeschrieben zu werden. Die Zahl der Einheiten ist aus genau einem Grund ehrlich: Sie haben den Nenner behalten. Jeder Versuch zählte, nichts konnte still fehlen.

Zwei Vorbehalte reisen mit dem Zahlenpaar, und sie wiegen schwerer als das Paar. Es geht um staatliche US-Nudge-Einheiten und Inanspruchnahme-Quoten, nicht um Kampagnen und Umsatz: Die Größenordnungen übertragen sich nicht. Und 8,7 zu 1,4 ist ein Befund über eine publizierte Stichprobe gegen eine Vollzählung in einem Feld, kein Abschlagsfaktor für Ihren Pilot. Einen solchen Faktor gibt es nicht, wie der nächste Abschnitt zeigt.

Auch begutachtete Zahlen schrumpfen beim Nachprüfen: um keinen einheitlichen Betrag

Ein publizierter Befund hat bereits ein feindseliges Gutachterverfahren überstanden – und schrumpft im Durchschnitt trotzdem, wenn jemand ihn nachmisst. Das ist die unbequeme Hälfte der Replikationsbilanz. Die Hälfte, die für kommerzielle Leser zählt, ist, was die Schrumpfung verweigert: eine einzige Zahl zu sein.

Lesen Sie die Richtung der Tabelle, nicht ihre Zellen. Ein Detail verdient einen eigenen Satz. In der klinischen Reihe – Ioannidis’ JAMA-Erhebung – schnitten die sechs hochzitierten nichtrandomisierten Studien deutlich schlechter ab als die Studien mit Zufallszuteilung: Fünf wurden später widerlegt oder hatten stärkere Effekte berichtet als das, was folgte, gegenüber neun von neununddreißig randomisierten. Je schwächer das Design, desto tiefer der Fall. Gemessen an sechs und neununddreißig Fällen, also ein Wegweiser, kein Gesetz.

Beachten Sie, was die stärksten dieser Prüfungen genossen. Die ökonomischen Replikationen liefen mit über 90 Prozent Power nach vorab festgelegten Plänen; das Psychologie-Projekt arbeitete, wo verfügbar, mit den Originalmaterialien; in beiden wurden die Fehlschläge veröffentlicht. Die klinische Zeile unterscheidet sich in der Methode wie im Ruhm: keine Wiederholung, sondern ein Vergleich mit den späteren, größeren Studien – näher an der Art, wie eine kommerzielle Zahl altert. Wo eine publizierte Zahl echter Prüfmaschinerie begegnete und trotzdem schrumpfte, wurde der Schwund unter Bedingungen gemessen, die gebaut waren, ihn zu fangen. Die Zahlen in einer kommerziellen Präsentation haben in aller Regel nichts dergleichen durchlaufen. Das ist meine Folgerung, kein Messergebnis; der nächste Abschnitt sagt, warum ich sie für tragfähig halte.

Drei Türen zwischen einer kommerziellen Zahl und der Wahrheit

Die erste Tür ist die Selektion – der oben gemessene Mechanismus. Die Fallstudie einer Präsentation ist aus der Menge der Versuche gewählt, und gewählt danach, wie sie sich liest. In der Forschung ließ sich die Größe dieses Filters messen, weil zwei Einheiten ihren Nenner behalten hatten. Kommerzielles Berichtswesen führt selten einen: In den Pipelines, die ich kenne, hat nie jemand verlangt, ihn zu führen, und nichts im Genre der Präsentation zwingt die gescheiterten Versuche auf die Seite. Die Richtung des Filters ist also bekannt. Seine Größe, für die Zahl vor Ihnen, nicht.

Die zweite Tür ist die Verzerrung, und ihr Vorzeichen ist unbekannt. Selbst die Zahlen des eigenen Dashboards – ganz ohne Anbieter – weichen regelmäßig von dem ab, was ein Experiment findet. Brett Gordon und Kollegen nahmen fünfzehn US-Werbeexperimente bei Facebook, mit den Nutzerdaten der Plattform selbst, und verglichen die experimentelle Antwort mit dem, was branchenübliche Beobachtungsmethoden berichten: „in half of our studies, the estimated percentage increase in purchase outcomes is off by a factor of three across all methods“ – in der Hälfte der Studien lag die Schätzung also über alle Methoden hinweg um den Faktor drei daneben, so die Übersetzung des Verfassers. Und zwar in beide Richtungen, was für Entscheider schlimmer ist als ein konstanter Fehler. Die Daten stammen aus der Zeit vor den Datenschutzumbrüchen von 2019, die Beobachtungsmessung seither schwerer gemacht haben, nicht leichter.

Bei eBay fanden Blake, Nosko und Tadelis experimentelle Renditen der Suchwortwerbung, die nur einen Bruchteil der nichtexperimentellen Schätzungen betrugen; Anzeigen auf den eigenen Markennamen zeigten „no measurable short-term benefits“, keinen messbaren kurzfristigen Nutzen. Ein einzelner Anbieter mit dominanter Marke: Nehmen Sie das Setting mit, nicht ein Gesetz der Suchwortwerbung.

Die dritte Tür ist die im Nachhinein gefundene Metrik. Wer genug Versuche fährt und genug Kennzahlen beobachtet, findet immer etwas, das sich bewegt hat; ein Erfolg, der nach dem Ergebnis ausgerufen wird, ist eine andere Art von Behauptung als ein Erfolg, der vorher definiert war. Die Forschung begegnet dieser Tür im Industriemaßstab: Microsofts Bing, mit „over 200 concurrent experiments“ an einem gewöhnlichen Tag, behandelt „a high occurrence of false positives“ – ein hohes Aufkommen falscher Treffer – als operative Tatsache, die bewirtschaftet werden muss. Und es ist die Tür, die John Ioannidis’ Aufsatz in PLoS Medicine modelliert: Flexibilität „in designs, definitions, outcomes, and analytical modes“, also in Studiendesigns, Definitionen, Endpunkten und Auswertungswegen, zersetzt die Verlässlichkeit des Behaupteten. Seine Schlussfolgerung im Titel ist durchaus umstritten – Goodman und Greenland stehen im Quellenverzeichnis –, doch die Richtung des Flexibilitätsproblems ist nicht der strittige Teil.

Warum überhaupt Maschinerie gegen die eigenen Zahlen bauen? Weil Urteilskraft allein im Maßstab immer wieder versagte. Das Bing-Team berichtet, viele Ideen bewegten Kernmetriken um rund ein Prozent und seien „not well estimated a-priori“, vorab also kaum zu schätzen – und das System habe negative Neuerungen gestoppt, „despite key stakeholders’ early excitement“, trotz früher Begeisterung zentraler Stakeholder. Ron Kohavi und Kollegen haben die Lektion in eine Formel gefasst, die ihren Ruhm verdient: Ertrag entsteht, wenn Teams auf ihre Kunden hören, „not to the Highest Paid Person’s Opinion (HiPPO)“ – nicht auf die Meinung der bestbezahlten Person.

Beachten Sie, was das Beispiel einräumt. Die Korrekturmaschinerie existiert auch im kommerziellen Leben, und Bing betrieb sie industriell. Die Asymmetrie ist nicht Forschung gegen Wirtschaft; sie ist das Artefakt. Ein publizierter Befund ist an die Maschinerie gebunden, die ihn geprüft hat: benannte Methoden, ein Gutachterverfahren, eine Spur, die das nächste Team angreifen kann – so, wie die Replikationsprojekte im Schwesterbeitrag dieses Clusters ihre Vorlagen angegriffen haben. Eine Präsentation kann mit oder ohne all das entstanden sein und sieht in beiden Fällen gleich aus. Genau diese Gleichheit bepreist der nächste Abschnitt.

Der Maßstab, der reist: drei Fragen

Eine Promotion befähigt nicht dazu, einen Markteintritt zu randomisieren, und die Experimentatoren selbst benennen die Grenzen ihres Instruments – „both technical and organizational“, technischer wie organisatorischer Art, so Kohavis Überblicksarbeit. Was die Ausbildung tatsächlich verändert, ist billiger. Sie installiert drei Fragen, eine je Tür, stellbar in jeder Besprechung, ganz ohne Statistik:

1. Aus wie vielen?
2. Wann festgelegt?
3. Verglichen womit?

Aus wie vielen bepreist die Selektionstür. Die Vollzählung zeigt, wie eine echte Antwort aussieht: jeder Versuch gezählt, nichts fehlt. Die kommerzielle Fassung ist kleiner. Auf wie vielen Piloten, Kunden, Tests steht diese Zahl – und wie viele liefen, die ich nicht sehe? Oft lautet die ehrliche Antwort, dass niemand einen Nenner geführt hat. Eine Weigerung an dieser Stelle sagt Ihnen, dass der Nenner die Entscheidung nicht erreichen wird – nicht, dass es ihn nicht gibt, und nicht, dass die Zahl falsch ist. Der Unterschied zählt.

Wann festgelegt bepreist die Flexibilitätstür. Stand die Erfolgsmetrik fest, bevor das Ergebnis existierte – oder wurde sie hinterher in dem gefunden, was sich gerade bewegt hat? Die Norm ist aus der Forschungspraxis importiert, wo es das vorab registrierte Design gibt, weil sein Fehlen teuer wurde; ihr Praktiker-Echo sind Kohavis vorab fixierte Bewertungskriterien. Deutschland vertraut übrigens seit Jahrzehnten einer Institution, die zwei dieser drei Türen institutionell verriegelt: Die Stiftung Warentest kauft ihre Prüfmuster anonym im Handel – der Anbieter stellt die Stichprobe nicht zusammen – und erstellt das Prüfprogramm in der Testplanung, bevor geprüft wird. Eine Analogie für die Praxis, kein Beleg für einen Effekt; aber der Instinkt, dem Testurteil mehr zu trauen als dem Prospekt, ist genau der Instinkt, den dieser Beitrag in den Besprechungsraum tragen will.

Was KI in Revenue Operations wirklich verändert hat die Frage nach der vorab festgelegten Metrik an einer einzelnen Literatur durchexerziert; hier wird sie zur stehenden Ausrüstung.

Verglichen womit bepreist die Verzerrungstür. Was hätte diese Metrik gezeigt, wenn die Initiative nichts bewirkt hätte – eine Kontrollgruppe, ein zeitlicher Versatz, eine Region, oder ein ehrliches „wir können es nicht wissen“? Das ist die Frage, die die Facebook-Studie mit dem Faktor drei beantwortet, auf Daten in Plattformqualität. Eine Zahl ohne Vergleich ist nicht falsch; sie ist unbepreist.

Drei Fragen sortieren grob. Sie liefern keine korrigierte Zahl; es gibt keinen Schrumpfungsfaktor zum Weiterreichen, und Tabelle 1 ist die Verweigerung. Und sie stufen eine Zahl nur als Beleg über ihr eigenes Umfeld ein: Ob die Welt von Bing, eBay oder einer Nudge-Einheit bis zu Ihrer reicht, ist ein Urteil, das keine Frage automatisiert. Was die Fragen kaufen, ist ökonomisch. Eine Pipeline kann die Antwort verweigern oder ins Ungefähre gehen – und Ungefähres auf eine direkte Frage ist ebenfalls eine Antwort. Stilles Weglassen ist billig und bestreitbar; eine falsche Antwort auf eine direkte Frage ist beides nicht. Das – nicht statistische Raffinesse – ist der Ertrag des Maßstabs.

Wo die Fragen enden

Die größten kommerziellen Entscheidungen sind die, denen das Instrument am wenigsten dient. Ein Markteintritt, eine Übernahme, eine Preisreform: ein Versuch, kein ehrlicher Nenner, oft kein Vergleichsmaßstab. Dort geben die drei Fragen „nicht beantwortbar“ zurück – und dieser Ausgang ist der nützliche. Jacob Cohen hat ein Forscherleben lang zugesehen, wie aus dem Signifikanztest, dem hauseigenen Ritual der publizierten Forschung, Gewissheit gewrungen wurde, und den Satz geschrieben, der sich verallgemeinert: Der Test „does not tell us what we want to know, and we so much want to know what we want to know that, out of desperation, we nevertheless believe that it does!“ – er sagt uns nicht, was wir wissen wollen; und wir wollen es so dringend wissen, dass wir aus Verzweiflung glauben, er täte es doch. So die Übersetzung des Verfassers.

Wenn die Fragen leer zurückkommen, ist die ehrliche Grundlage der Entscheidung Urteilskraft: Erfahrung, Struktur, Appetit auf das Verlustszenario – erklärt als Urteilskraft, nicht verkleidet als geliehene Zahl. Und die Präsentation behält ihre eigentliche Aufgabe. Eine nach Relevanz gewählte Fallstudie kann ehrliche Evidenz für Existenz sein – jemand wie Sie hat das zum Laufen gebracht –, sofern ihre eigene Zahl die beiden anderen Türen überstanden hat. Was sie nicht tragen kann, ist ein Schätzwert für die Größenordnung: dafür, was der durchschnittliche Versuch liefern würde. Zu wissen, welche Frage eine Zahl beantworten kann, war immer schon der Kern von „Evidenz statt Anekdote“.

Legen Sie das Blatt an die nächste Zahl an, die Budget verlangt. Nicht, um jemanden zu überführen: Die meisten Pipelines wurden nie gebeten, Nenner zu führen, und das festzustellen ist Diagnose, keine Anklage. Der Punkt ist kleiner und härter. Der Maßstab lag nie darin, wo eine Zahl gedruckt wurde – sondern darin, was sie überstanden hat und ob das jemand sagen kann.