Was ist Selektionsbias? Die Stichprobe kann die Antwort verändern

Eine Konversionsrate kann ausgezeichnet aussehen, weil nur Einheiten gezählt werden, die eine späte Phase erreicht haben. Eine Befragung kann repräsentativ wirken, weil die Antwortenden sorgfältig beschrieben sind. Ein Kampagnenvergleich kann ausgeglichen aussehen, weil behandelte und unbehandelte Gruppen dasselbe Etikett tragen. Die frühere Frage lautet in jedem Fall: Wer konnte in die Stichprobe gelangen und wer nicht?

Selektionsbias beginnt bei einem Einschlussmechanismus, der im Verhältnis zur Zielaussage verändert, welche Einheiten beobachtet oder analysiert werden. Die Stichprobe kann die Antwort verändern, bevor ein Modell geschätzt wird.

Der Beitrag zu Evidenz statt Anekdote besitzt den größeren Standard für Aussagen, die eine Prüfung überstehen. Diese Seite besitzt die Populationsgrenze: Wer wurde eingeschlossen, wer ausgeschlossen und was bedeutet diese Auswahl für den Vergleich?

Was bedeutet Selektionsbias?

Benennen Sie vier Objekte, bevor Sie eine Quote berechnen:

Selektionsbias bedeutet nicht, dass eine Stichprobe kleiner als die Zielpopulation ist. Es geht um das Risiko, dass der Weg in die Stichprobe von Variablen abhängt, die für Ergebnis oder Vergleich relevant sind. Eine kleine Zufallsstichprobe kann informativ sein. Eine große ausgewählte Stichprobe kann dennoch eine andere Frage beantworten.

Ist Selektionsbias dasselbe wie Confounding?

Nein. Confounding betrifft eine gemeinsame Ursache von Exposition und Ergebnis, die einen Vergleich verzerrt. Selektionsbias betrifft den Mechanismus, der bestimmt, welche Einheiten beobachtet, behalten oder analysiert werden. Messfehler betrifft die Beobachtung eines Ziels. Nichtbeantwortung ist eine fehlende Antwort einer ausgewählten Einheit. Ausfall ist Verlust nach dem Eintritt. Die Mechanismen können zusammen auftreten, aber die Reparaturfrage ist jeweils eine andere.

Collider-Bias ist ein wichtiger Selektionspfad. Stellen Sie sich vor, dass frühere Kaufabsicht und Vertriebsaufmerksamkeit beide die Chance erhöhen, dass ein Lead „vom Vertrieb angenommen“ wird. Wenn die Analyse auf angenommene Leads beschränkt wird, kann diese gemeinsame Folge einen Zusammenhang zwischen den beiden Ursachen erzeugen, der in der Zielpopulation nicht bestand. Das Etikett „angenommen“ macht den ausgewählten Vergleich nicht neutral.

Leiten Sie Collider-Bias nicht aus jeder Variable nach der Behandlung ab. Zeichnen Sie den Einschlusspfad, benennen Sie die Variablen und sagen Sie, welchen Vergleich die Konditionierung verändert.

Was zeigt zielgerichtete Ausspielung?

Lewis und Rao analysieren große digitale Werbeexperimente und betonen zwei begrenzte Punkte. Randomisierte Studien ergänzen unter ihrem Zuweisungsdesign unverzerrte Information. Beobachtende Werbemethoden stehen vor einem ernsthaften Selektionsproblem, weil Ausspielung zielgerichtet statt zufällig erfolgt (Lewis & Rao, 2015). Das Werbesetting ist kein allgemeiner Konversionsbenchmark. Es zeigt, warum ein ausgewählter Vergleich ein Designargument braucht.

Die Logik gilt für kommerzielle Stichproben nur als Frage, nicht als übertragene Schätzung:

• Wurden Einheiten nach einer Regel eingeladen, geroutet, exponiert oder behalten, die mit dem Ergebnis zusammenhängen kann?
• Hat die Behandlung oder das kommerzielle Team beeinflusst, wer eine Messung erhielt?
• Wurde auf eine spätere Phase, Antwort oder Annahme konditioniert?
• Sind ausgeschlossene oder fehlende Einheiten beschrieben, sodass die Zielgrenze geprüft werden kann?

Wie sieht ein Register für Zulässigkeit aus?

Die sechs Zeilen sind synthetisch. Sie stellen keine Teilnehmenden, Kunden, Beschäftigten oder aktuelle Unternehmensstichprobe dar.

S-03 ist nicht automatisch in eine Richtung verzerrt. Wenn Vertriebskapazität wertvolle Leads bevorzugt, kann die ausgewählte Stichprobe besser als das Ziel aussehen. Wenn schwierige Leads zusätzliche Aufmerksamkeit erhalten, kann sie schlechter aussehen. Die Richtung gehört zum Mechanismus und zum Estimand, nicht zum Wort „Selektion“.

Wie prüft ein Team eine ausgewählte Stichprobe?

1. Zielpopulation, Einheit, Zeitraum, Behandlung oder Exposition und Ergebnis angeben.
2. Weg von Ziel zu eingeladenen, beobachteten, behaltenen und analysierten Einheiten zeichnen.
3. Regeln für Zulässigkeit, Einladung, Annahme, Antwort, Erhalt und Ausschluss trennen.
4. Variablen identifizieren, die Einschluss und Zielvergleich beeinflussen können.
5. Benennen, ob Design, Gewichtung, Schichtung, Sensitivität oder neue Daten gefragt sind.
6. Ausgeschlossene und fehlende Population neben dem ausgewählten Ergebnis berichten.

Wenn der Einschlussmechanismus unbekannt ist, begrenzen Sie die Aussage auf die beobachtete Stichprobe oder stoppen Sie. Reparieren Sie Selektionsbias nicht durch einen neuen Stichprobennamen, eine unbegründete Kovariate oder den Vergleich zweier ausgewählter Gruppen ohne Identifikationsargument.

Selektionsbias ist zuerst ein Populations- und Prozessproblem und erst danach ein Modellierungsproblem. Die erste Frage lautet nicht „Welche Anpassung rechnen wir?“, sondern „Welche Einheiten hat der datengenerierende Pfad ausgelassen?“

Der Artikel zur externen Validität stellt die nächste Frage: ob ein identifizierter Vergleich auf eine Zielpopulation übertragbar ist.