Aus der Forschung

Ein belastbares Evidenzreview braucht eine Abbruchregel

Ein Evidenzreview ist belastbar, wenn Suchgrenze, Einschlusslogik, Extraktion, Gegenprüfung und Abbruchurteil für Leser sichtbar sind.

1.304 Wörter 6 Min. Lesezeit 6 Quellen  Leser

Management Summary

Ein Evidenzreview wird zum Quellenstapel, wenn jede neue Arbeit als Fortschritt gilt und niemand sagen kann, was die Suche beendet. Eisenhardt beschreibt einen iterativen Prozess aus Erhebung, Analyse, Vergleich, Gegenargumenten und bedingtem Abschluss. Gioia macht die Extraktionsstruktur sichtbar und warnt vor einer Anwendung als Kochrezept. Biemans, Malshe und Johnson zeigen in einem begrenzten systematischen Review, wie 73 Artikel zur Schnittstelle von Vertrieb und Marketing über vier Domänen und fünf Themen codiert werden können. Zusammen mit bedingter Sättigung und Information Power folgt eine Abbruchregel: Grenze, Einschluss, Extraktion, Gegenprüfung, Lernzuwachs und Offenlegung.

Schlagwörter: Evidenzreviews · Forschungsqualität · Literaturmethoden · Entscheidungsfindung

Auf dieser Seite

Ein Evidenzreview wird zum Quellenstapel, wenn jede neue Arbeit als Fortschritt gilt und niemand sagen kann, was die Suche beendet.

Die Antwort ist keine magische Zahl von Quellen. Sie ist eine sichtbare Abbruchregel: Was ist das Reviewobjekt, was gehört hinein, welche Extraktionsstruktur wird genutzt, welcher Rivale könnte die Antwort ändern, und was hat die nächste Quelle hinzugefügt?

Warum muss die Suchraumgrenze vor dem reinen Suchvolumen festgelegt werden?

Ein Review braucht eine Grenze, bevor es mehr Treffer braucht. Frage, Einheit, Zeitraum, Sprache, Quellentypen sowie Ausschlusslogik werden benannt. Eine Suche nach „Customer Health“ kann sonst von Churn-Prognose über Supportsentiment und Retentionsdefinition bis zu Anbieterbehauptungen wachsen, ohne dass bemerkt wird, dass sich das Objekt geändert hat.

Eisenhardts Darstellung theoriebildender Fallstudien ist nützlich, weil sie Erhebung und Analyse als iterativ behandelt. Fragen, Fallauswahl, Einzelfallarbeit, fallübergreifende Muster, Literaturvergleich und Abschluss beeinflussen einander. Der Zweck ist nicht, ewig zu suchen. Der Zweck ist, die Grenze auf Evidenz reagieren zu lassen und die Begründung festzuhalten.

Das Reviewprotokoll bewahrt deshalb die Anfangsgrenze und jede wesentliche Änderung. Eine breitere Suche kann legitim sein. Sie darf nicht verborgen bleiben, als hätte die Ausgangsfrage immer schon die letzte Fassung gemeint.

Warum sind Einschlusskriterien ein methodisches Argument statt einer Formalie?

Eine Einschlussregel ist keine Verwaltungsarbeit. Sie definiert, was die Schlussfolgerung tragen kann. Quellenversion, Methode, Population oder Einheit, Ergebnis und relevanter Locator werden festgelegt, bevor eine Arbeit als Evidenz gilt. Eine Quelle kann Kontext liefern und trotzdem für eine quantitative Aussage an der Einschlussregel scheitern.

Dies schützt auch die Quellenqualität. Ein Working Paper kann eine Working-Paper-Aussage tragen. Ein Abstract kann einen Beitrag oder eine Lücke identifizieren, aber nicht stillschweigend ein Ergebnis aus ungelesenem Volltext tragen. Eine Praxiswebseite kann Prior Art sein, ohne Evidenz für eine empirische Aussage zu werden.

Der Einschlussdatensatz nennt, warum eine Quelle aufgenommen wurde, was sie tragen kann und welche Ansprüche sie nicht tragen darf. So wird das Review prüfbar, ohne jeder Quelle dasselbe Gewicht zu geben.

Wie dokumentieren Forschende die Datenextraktion für maximale Nachvollziehbarkeit?

Gioia, Corley und Hamilton beschreiben den sichtbaren Weg von Begriffen erster Ordnung zu Konzepten zweiter Ordnung und aggregierten Dimensionen. Ihr Ansatz ist eine flexible Orientierung für qualitative Strenge und kein Kochrezept. Übertragbar ist die Sichtbarkeit: Leser sollen sehen, wie ein Quellsatz zu einem Code, Codes zu einem Konzept und Urteile in die Synthese gelangen.

Systematische Reviews brauchen dieselbe Disziplin in anderer Form. Biemans, Malshe und Johnson identifizieren 73 Artikel zur Schnittstelle von Vertrieb und Marketing aus den Jahren 1990 bis 2021. Sie codieren strukturelle Verknüpfungen, Rollenverknüpfungen, Interaktionen und Wahrnehmungen und gruppieren die Literatur in fünf Themen.

Das macht 73 nicht zur richtigen Größe für jedes andere Review. Es zeigt, was ein begrenztes Review sichtbar machen kann: Quellenuniversum, Codierräume, Themen und Beziehungen. Die Struktur ist Teil des Ergebnisses und macht das Review prüfbar.

Warum ist die Prüfung alternativer Erklärungen im Evidenzreview zwingend?

Eisenhardts Prozess enthält Mustervergleiche und den Vergleich mit Literatur. Es geht nicht darum, eine Tabelle mit Belegen zu produzieren. Es geht darum, Umkehrungen, Bedingungen und Gegenargumente sichtbar zu machen. Die Quelle, die die Hauptaussage schwächt, kann die wertvollste sein.

Eine Gegenprüfung fragt:

  • Verschwindet das Ergebnis bei anderer Einheit oder anderem Nenner?
  • Erklärt eine Quelle dasselbe Muster mit einem anderen Mechanismus?
  • Misst die Methode einen Proxy statt des Entscheidungsergebnisses?
  • Hängt das Muster an einem Kontext, einer Stichprobe oder einer Version?
  • Welche Evidenz würde die Schlussfolgerung kleiner oder falsch machen?

Wenn nur bestätigende Quellen gespeichert werden, kann „Sättigung“ bedeuten, dass die Suche endete, als das Argument bequem wurde. Das ist keine Abbruchregel, sondern eine unprotokollierte Präferenz.

Warum bedeutet qualitative Code-Sättigung noch keinen Literaturabschluss?

Das Ergebnis von Guest, Bunce und Johnson mit zwölf Interviews gilt für eine relativ homogene Gruppe und einen strukturierten Leitfaden. Hennink, Kaiser und Marconi trennen Code-Sättigung von Bedeutungssättigung in einer angewandten teilstrukturierten Studie. Malterud, Siersma und Guassora knüpfen Information Power an Ziel, Spezifität der Stichprobe, Theorie, Dialog und Analyse.

Diese Quellen liefern weder eine universelle Interviewzahl, noch ist B12 eine Interviewstudie. Sie sind nützlich, weil sie verschiedene Abschlussfragen trennen. Keine neuen Labels, keine neue Bedeutung, keine neue Bedingung, kein neuer Rivale und keine neue Entscheidungsfolge sind nicht dasselbe.

Das gilt auch für Literaturreviews. Eine Quelle kann keinen neuen Code hinzufügen und trotzdem eine Grenzbedingung ändern. Sie kann ein Thema wiederholen und dennoch eine Methode stärken. Sie kann keine Unterstützung liefern und trotzdem ein Kausalwort zu groß machen. Der Abschluss muss benennen, welche Art des Lernens klein geworden ist.

Wie formulieren Forschende eine belastbare Abbruchregel für Literaturreviews?

ReviewfeldSichtbarer DatensatzAbschlussfrageVorläufig bleibt
GrenzeFrage, Einheit, Datum, Sprache, Quellentypen, AusschlüsseIst das Reviewobjekt stabil genug für Vergleiche?Übertragung außerhalb der Grenze
EinschlussVersion, Methode, Population, Ergebnis, Locator, GrundKann jede Quelle den zugewiesenen Anspruch tragen?Ansprüche aus Abstract oder Kontext allein
ExtraktionFelder, Codes, Konzepte, Themen und QuelllinksKann der Weg von Evidenz zur Synthese verfolgt werden?Interpretationsurteil
GegenprüfungRivale, Umkehrung, Grenzfall, verwundende QuelleWas würde die Schlussfolgerung kleiner oder falsch machen?Ungeprüfte Gegenargumente
LernzuwachsWas die nächste Quelle geändert oder nicht geändert hatÄndert die nächste Quelle Antwort, Bedingungen, Rivalen oder Unsicherheit noch?Neue Evidenz außerhalb der Suchgrenze
OffenlegungStichtag, Suchprotokoll, Lücken, Versionen und GrenzenVersteht ein anderer Leser den Grund des Abschlusses?Künftige Updates und neue Versionen

Tabelle 1Abbruchregel für Evidenzreviews

Schließen Sie, wenn die nächste Quelle Antwort, Bedingungen, Gegenargumente oder Unsicherheit nicht mehr verändert, und zeigen Sie, warum.

Quelle: Eisenhardt (1989), Gioia, Corley und Hamilton (2013), Biemans, Malshe und Johnson (2022), Guest, Bunce und Johnson (2006), Hennink, Kaiser und Marconi (2017) sowie Malterud, Siersma und Guassora (2016). Die Zeilen sind eine eigene Synthese.

Zur Abbildungsseite

Warum ist der Review-Abschluss ein epistemisches Urteil und keine Kennzahl?

Ein Review kann schließen, obwohl Evidenz unvollständig bleibt. Abschluss bedeutet, dass Grenze und Restunsicherheit ausdrücklich sind, nicht dass die Aussage universell wahr geworden ist. Wenn die nächste Quelle innerhalb der erklärten Grenze die Antwort voraussichtlich nicht ändern würde, kann die Suche enden und die Lücke benannt werden.

Das Gegenteil ist ebenso möglich. Ein Review kann Hunderte Quellen enthalten und offen bleiben, weil Einheit, Ergebnis oder Gegenargument ungeklärt sind. Mehr Aufsätze reparieren keine bewegliche Frage.

Das endgültige Reviewprotokoll nennt Stichtag, Suchgrenze, Einschlusslogik, Extraktionsfelder, Gegenprüfung, Lernzuwachs, offene Lücke und die Quelle, die das Argument herausgefordert hat. Diese Quelle ist Teil des Reviews und keine peinliche Fußnote.

Wo liegen die methodischen Grenzen systematischer Evidenzreview-Regeln?

Keine der Quellen liefert eine universelle Zahl von Aufsätzen, Interviews oder Suchtreffern. Biemans et al. sind ein begrenztes Beispiel und keine Vorlage für jedes Feld. Eisenhardt und Gioia liefern Prozess und Struktur, keine Wahrheitsgarantie. Der engere Beitrag lautet: Ein Evidenzreview ist belastbar, wenn sein Abschluss prüfbar ist.

Die Abbruchregel gehört neben der Fallstudie als Evidenzdesign und Evidenz statt Anekdote, die die Grenze zwischen Beobachtung, Synthese und Übertragung sichtbar machen. Sie greift direkt das Prinzip auf, dass Sättigung eine Entscheidungsregel und keine Zahl ist, wenn weitere Erhebungen keinen Erkenntnisgewinn mehr versprechen.

Quellen

  1. Eisenhardt, K. M. (1989). Building theories from case study research. Academy of Management Review, 14(4), 532–550. https://doi.org/10.5465/amr.1989.4308385
  2. Gioia, D. A., Corley, K. G., und Hamilton, A. L. (2013). Seeking qualitative rigor in inductive research: Notes on the Gioia methodology. Organizational Research Methods, 16(1), 15–31. https://doi.org/10.1177/1094428112452151
  3. Biemans, W., Malshe, A., und Johnson, J. S. (2022). The sales-marketing interface: A systematic literature review and directions for future research. Industrial Marketing Management, 102, 324–337. https://doi.org/10.1016/j.indmarman.2022.02.001
  4. Guest, G., Bunce, A., und Johnson, L. (2006). How many interviews are enough? An experiment with data saturation and variability. Field Methods, 18(1), 59–82. https://doi.org/10.1177/1525822X05279903
  5. Hennink, M. M., Kaiser, B. N., und Marconi, V. C. (2017). Code saturation versus meaning saturation: How many interviews are enough? Qualitative Health Research, 27(4), 591–608. https://doi.org/10.1177/1049732316665344
  6. Malterud, K., Siersma, V. D., und Guassora, A. D. (2016). Sample size in qualitative interview studies: Guided by information power. Qualitative Health Research, 26(13), 1753–1760. https://doi.org/10.1177/1049732315617444

Weitergeben

Diesen Beitrag teilen

Wenn er Ihnen etwas gebracht hat, bringt er jemandem in Ihrem Team vermutlich auch etwas.

Als PDF herunterladen

Ein vollständiges Dokument – Titelseite, Inhalt, Quellen, und die Zitierweise auf der letzten Seite.

Sinan Isoglu

Über den Autor

Sinan Isoglu, MBA (Quantic)

Führungskraft für Umsatzwachstum, Dozent und Doktorand

Sinan Isoglu ist Führungskraft für Umsatzwachstum, Dozent und Doktorand. Seine Arbeit verbindet Go-to-Market, Pricing und Revenue Operations; seine Promotion an der EM Normandie untersucht die Integration von Vertrieb und Marketing nach grenzüberschreitenden M&A. An der IU Internationalen Hochschule lehrt er Marketing und Wachstum.

Qualifikationen

  • Doktorand, EM Normandie Business School
  • MBA, Quantic School of Business and Technology
  • Dozent, IU Internationale Hochschule

Schreibt über

  • Go-to-Market
  • Pricing
  • Revenue Operations
  • KI im Handel
  • Grenzüberschreitendes Wachstum

Die Spur

Der Test hinter dieser Frage.

Dieser Beitrag gehört zur Forschung: der strengere Maßstab für die Muster, die aus der Praxis entstehen.

Kommentare

Mitdenken.

Kommentieren Sie den Text oder markieren Sie oben eine Passage, um sie direkt zu zitieren.

Kommentar schreiben

Kommentare werden vor der Veröffentlichung persönlich geprüft. Name und Kommentar werden für die Veröffentlichung gespeichert. Siehe den Datenschutzhinweis.