Groß angelegte Studie zeigt: Wenn Hunderte Forschende dieselben Daten neu analysieren, gehen die Schlussfolgerungen oft auseinander

An einer groß angelegten internationalen Studie zur Verlässlichkeit wissenschaftlicher Analysen hat auch Andrey Lovakov vom Deutsches Zentrum für Hochschul- und Wissenschaftsforschung (DZHW) mitgewirkt. Die in der Fachzeitschrift Nature veröffentlichte Untersuchung zeigt: Wenn Hunderte Forschende denselben Datensatz neu analysieren, gelangen sie häufig zu unterschiedlichen Schlussfolgerungen. Das Projekt macht deutlich, dass wissenschaftliche Objektivität nicht darin besteht, eine einzige „wahre“ Analyse zu finden, sondern den Raum plausibler Alternativen transparent zu machen – sowohl in Forschungsberichten als auch in der wissenschaftlichen Kommunikation.

Hannover, Budapest 08.04.2026. Eine neue Studie mit dem Titel „Investigating the analytical robustness of the social and behavioural sciences“, die in der Fachzeitschrift „Nature“ veröffentlicht wurde, kommt zu dem Ergebnis, dass wissenschaftliche Schlussfolgerungen je nachdem, wer die Analyse durchführt, erheblich variieren können.

Die Ergebnisse stammen aus einer groß angelegten internationalen Zusammenarbeit unter der Leitung von Balázs Aczél und Barnabás Szászi (Eötvös-Loránd-Universität und Corvinus-Universität), die im Rahmen des Programms „Systematizing Confidence in Open Research and Evidence“ (SCORE) durchgeführt wurde. Ein Team aus 457 unabhängigen Analysten von Institutionen aus aller Welt führte 504 erneute Analysen von Daten aus 100 zuvor veröffentlichten Studien aus den Sozial- und Verhaltenswissenschaften durch. Alle Analysten erhielten denselben Datensatz und dieselbe zentrale Forschungsfrage, hatten jedoch die Freiheit, die Analyse nach ihrem fundierten Urteil durchzuführen.

In den letzten zehn Jahren haben die Sozial- und Verhaltenswissenschaften tiefgreifende Reformen durchlaufen, die darauf abzielen, die Forschung transparenter, stringenter und zuverlässiger zu machen. Vorregistrierung, registrierte Berichte, Replikationsstudien und Überprüfungen der analytischen Reproduzierbarkeit zielen alle darauf ab, die Häufigkeit von Zufallsbefunden und verzerrten Ergebnissen zu verringern. Eine wichtige Frage hat jedoch relativ wenig Beachtung gefunden: Inwieweit hängen Forschungsergebnisse von der konkreten Art und Weise ab, wie Daten analysiert werden?

In der gängigen wissenschaftlichen Praxis wird ein Datensatz in der Regel von einem einzelnen Forscher oder einem Forschungsteam analysiert und die daraus resultierende Veröffentlichung stellt die Ergebnisse eines bestimmten Analyseansatzes dar. Während im Peer-Review-Verfahren die methodische Zulässigkeit geprüft wird, gibt es selten Aufschluss darüber, welche Ergebnisse sich bei alternativen, aber ebenso vertretbaren statistischen Entscheidungen ergeben hätten.

Empirische Forschung beinhaltet jedoch zahlreiche Entscheidungspunkte: wie Daten bereinigt werden, wie Variablen definiert werden, welche statistischen Modelle oder welche Software verwendet werden und wie Ergebnisse interpretiert werden. Zusammen bilden diese Entscheidungen das, was als analytische Variabilität bezeichnet wird – jene Flexibilität, die die endgültigen Schlussfolgerungen grundlegend beeinflussen kann.

Wichtigste Ergebnisse

Die Autor*innen stellten erhebliche Abweichungen bei den Ergebnissen unabhängiger Analysen derselben Fragestellung fest, die auf der Grundlage derselben Daten in 100 Studien durchgeführt wurden. Obwohl die meisten Nachanalysen die Hauptaussagen der ursprünglichen Studien im Großen und Ganzen bestätigten, wiesen Effektstärken, statistische Schätzungen und Unsicherheitsgrade oft erhebliche Unterschiede auf. In etwa einem Drittel der Fälle kamen alle Analysten zu demselben Ergebnis wie die ursprünglichen Autoren.

Wichtig ist, dass diese Diskrepanzen nicht auf mangelnde Fachkenntnisse zurückzuführen waren. Erfahrene Forscher mit fundierten statistischen Kenntnissen gelangten ebenso häufig zu abweichenden Ergebnissen wie andere. Gleichzeitig erwiesen sich Beobachtungsstudien als weniger robust als experimentelle Studien, was darauf hindeutet, dass komplexere Datenstrukturen eine größere analytische Flexibilität – und damit auch eine größere Unsicherheit – ermöglichen.

Aczél, Professor an der Eötvös-Loránd-Universität, kam zu dem Schluss: „Diese Ergebnisse stellen die Glaubwürdigkeit früherer Forschungsarbeiten nicht in Frage. Vielmehr machen sie darauf aufmerksam, dass die Darstellung einer einzigen Analyse oft nicht das tatsächliche Ausmaß der empirischen Unsicherheit widerspiegelt und dass das Ignorieren analytischer Variabilität zu einem ungerechtfertigten Vertrauen in wissenschaftliche Schlussfolgerungen führen kann.“

Szászi, Dozent an der Eötvös-Loránd-Universität und der Corvinus-Universität, fügte hinzu: „Wir plädieren für einen breiteren Einsatz von Multi-Analyst- und ‚Multiversum‘-Ansätzen, insbesondere bei Fragen von hoher wissenschaftlicher oder gesellschaftlicher Bedeutung. Anstatt nach einer einzigen wahren Antwort zu suchen, machen diese Ansätze sichtbar, wie stabil – oder fragil – wissenschaftliche Schlussfolgerungen tatsächlich sind.“

Die in Nature veröffentlichte Studie ist hier verfügbar: https://doi.org/10.1038/s41586-025-09844-9