Fazit und Ausblick

Wissenschaftler*innen arbeiten unter starkem Druck und das wissenschaftliche System belohnt Sorgfalt und Offenheit weniger als Innovation und klare Ergebnisse. In den Sozialwissenschaften tun sich immer mehr Forschende zusammen, diese Probleme zu lösen. Aus der Vertrauenskrise hervorgehend befindet sich große Teile der Psychologie bereits in einer Renaissance. Täglich werden Diskussionen auf persönlicher, institutioneller, und politischer Ebene darüber geführt, wie Wissenschaft betrieben werden sollte. Es ist dabei klar geworden, dass es in der Wissenschaft nicht wie in manch einem ökonomischen Markt eine “unsichtbare Hand” gibt, die dafür sorgt, dass alles ins Gleichgewicht findet - stattdessen sind es die Forschenden, die sich aktiv um die Selbstkorrektur von Wissenschaft bemühen. Bevor jedoch eine Intervention zur Verbesserung von Forschung stattfinden kann, wird zuerst eine Inventur (Wo sind Verbesserungen nötig?) und anschließend eine Beobachtung benötigt. Eine Inventur über Probleme und Lösungsvorschläge biete ich mit diesem Buch an. Es ist nun die Rolle der Meta-Wissenschaft, also Wissenschaft über Wissenschaft, zu prüfen, welche Lösungsansätze wie gut funktionieren.

Was hat sich verbessert?

Ich hoffe, dass die Kapitel zu den Lösungen klar gemacht haben, dass es kein Problem gibt, für dass es nicht mindestens einen Lösungsvorschlag gibt und dass diese bereits vielfältig umgesetzt werden (Korbmacher u. a. 2023). Beispielsweise wurden für Replikationsforschung Leitfäden erarbeitet und Replikationen werden seltener als persönliche Attacken und mehr als sinnvolles Werkzeug angesehen (Nosek u. a. 2022). Strengere Vorgaben bei Berichten statistischer Tests haben sich deutlich auf deren Nachvollziehbarkeit ausgewirkt (Giofrè u. a. 2023), Präregistrierungen haben P-Hacking reduziert (Brodeur u. a. 2024), und vereinzelt konnten mit modernen Methoden extrem hohe Replikationsraten erreicht werden (Protzko u. a. 2023; siehe aber dazu die Kritik von Bak-Coleman und Devezer 2023). Wie Forschende in der Psychologie diese Ansätze nutzen, ist zwischen 2010 und 2020 von 49% auf 87% stark angestiegen (Ferguson u. a. 2023).

Was ist noch zu tun?

Bei vielen Disziplinen ist die aktive Auseinandersetzung mit Open Science noch ausstehend. Während Sozial- und Persönlichkeitspsychologie unter den Sozialwissenschaftlern eine Vorreiterrolle spielen, hat die Auseinandersetzung in der Konsumentenpsychologie oder jenseits der Psychologie in Medizin, Erziehungswissenschaften, oder Soziologie erst vor wenigen Jahren begonnen. Und selbst in der Psychologie gibt es noch große Defizite. Zum Beispiel veröffentlichten nur 34 von 88 Zeitschriften Replikationsstudien mit einem Gesamtanteil von 0.2% an allen veröffentlichten Studien (Clarke u. a. 2023; Feldman 2024).

Allgemein gilt: Um Diskussionen dabei mehr als nur intuitiv sinnvoll zu führen, ist eine meta-wissenschaftliche Evaluation der neuen Methoden unabdingbar (Phaf 2024b; Soderberg u. a. 2021). Es kehrt das Spektrum der möglichen Reaktionen auf Replikationsfehlschläge zurück: Sollte eine Theorie nach einem Replikationsfehlschlag sofort verworfen werden, oder ist das zu radikal und eine Beharrungstendenz von Forschenden könnte helfen, starke Theorien zu etablieren (Phaf 2024a)? Ebenfalls ist eine interdisziplinäre Zusammenarbeit sinnvoll: Beispielsweise würde es viel Arbeit ersparen, wenn Terminologien fächerübergreifend entwickelt werden, statt wie aktuell einzeln (und stark redundant) für Psychologie (Hüffmeier, Mazei, und Schultze 2016), Geisteswissenschaften (Schöch 2023), und Marketing (Urminsky und Dietvorst 2024). In manchen Bereichen ist sogar gänzlich unklar, wie Replikationserfolg aussieht, es lässt sich also kaum beurteilen, ob zwei Studien, die dasselbe untersuchen, zum selben Ergebnis kommen.

Open Science wird gelegentlich mit Open Access gleichgestellt. Zwar ist Open Science viel mehr als das, allerdings ist die Diskussion um Open Access eine der ältesten und stückweit unabhängig von Problemen wissenschaftlicher Integrität. Das soziale Dilemma, also wie sich Forschende von kommerziellen Verlagen unabhängig machen können, ist weit davon gelöst zu werden. Ob Abkommen zwischen Universitäten und Verlagen (z.B. DEAL Verträge) erfolgreich werden, ist noch ungewiss.

Open Washing

Selbst Forschung, die sich mit dem Thema Open Science befasst, hält sich manchmal nicht an die Kriterien, die sie fordert. Beispielsweise steht ein Artikel von Open Science Verfechtern (Protzko u. a. 2023) in der Kritik, weil dort - ohne transparent darüber zu berichten - von der Präregistrierung abgewichen wurde.

Was geschieht jetzt gerade?

Die hier diskutierten Ideen und Befunde sind ein aktueller Schnappschuss eines dynamischen Diskurses. Mehr und mehr Universitäten gründen Zentren für Open Science und setzen sich mit den dazugehörigen Themen auseinander. Im Rahmen eines Schwerpunktprogramms zu Meta-Wissenschaft und Replizierbarkeit werden von der LMU München aus Forschungsprojekte gefördert. Das amerikanische Center for Open Science arbeitet an zahlreichen Projekten, und im Rahmen der europäischen FORRT-Initiative werden Projekte und Teams organisiert. Es ist nun nur noch eine Frage der Zeit, bis sich alle Forschenden der Probleme und Lösungsansätze bewusst sind und sich an der Verbesserung von Wissenschaft beteiligen.

Krieg und Open Science

Ein aktuell noch relativ wenig behandeltes Thema ist das des Krieges. Viele Forschungsinstitutionen unterliegen einem Embargo, durch welches Kollaborationen mit Forschenden aus bestimmten Ländern wie China oder Russland gemeldet oder sogar unterlassen werden müssen. Je nach epistemologischem Standpunkt sind verschiedene Entwicklungen möglich:

  • Positivismus: Davon ausgehend, dass es die eine Wahrheit gäbe (Wittgenstein 1922/2004), der nur alle auf die Schliche kommen müssen, sind gegnerische Nationen als Konkurrenten zu sehen, mit denen Wissen nicht geteilt werden sollte. Ihnen gegenüber müsste sich Wissenschaft also verschließen. Wie das mit Datenbanken im Internet zu bewerkstelligen ist, ist vorwiegend eine technische Frage.

  • Relationistisch: Im Sinne von Fleck (1935/2015), ist Wahrheit gesellschaftlich verankert und verschiedene Gesellschaften können theoretisch mit verschiedenen Wahrheiten arbeiten. Die Forschenden von gegnerischen Nationen könnten sich dadurch möglicherweise gar nicht für die Sichtweisen der anderen interessieren oder diese als politisch durchtränkt abtun.

  • Nationalistisch: Aus dieser Perspektive ließe sich anbringen, dass eine Gesellschaft, die die Wissenschaft finanziert, primär davon profitieren sollte.

  • Altruistisch/Idealistisch: In Anlehnung an die Mertonschen Normen (Merton 1968) lässt sich Wissenschaft als ein Gemeingut von allen Menschen verstehen, auf das niemand privilegierten Zugriff hat (Kommunismus des wissenschaftlichen Wissens) und wovon alle Menschen profitieren können. Bei dieser Haltung macht Wissenschaft an politischen Grenzen keinen Halt. Aus dieser Perspektive ließe sich Open Science als diplomatische Strategie zum wissenschaftlichen Austausch trotz politischer Differenzen verstehen.

Welche Perspektive sich langfristig herauskristallisiert ist noch ungewiss. Im Zuge des Krieges in Israel und Gaza und einem offenen Brief von Wissenschaftler*innen dazu, erstellte das Bildungsministerium im Juni 2024 Listen von Hochschullehrenden, mit bestimmter politischer Einstellung sind und prüfte die Möglichkeit der Kürzung von Forschungsgeldern. Diese Fördergeld-Affäre wird aus der Wissenschaft heraus - ungeachtet der politischen Hintergründe - als eine Bedrohung der Freiheit der Wissenschaft wahrgenommen und ist eher mit nationalistischen und positivistischen Perspektiven vereinbar.

In der Kommunikation zwischen Wissenschaftler*innen und der Gesellschaft besteht dabei ein Spannungsverhältnis: Untereinander müssen Forschende kommunizieren, dass Reformen und Verbesserungen in der Wissenschaft nötig sind - was am einfachsten mit Hinweisen auf die Probleme funktioniert. Im Dialog mit der Gesellschaft kann ein Hinweis auf diese Probleme jedoch das Vertrauen in Wissenschaft gefährden (Penders 2024). Es bleibt hierbei also zu betonen, dass Wissenschaft nicht abgeschlossen (genau genommen nie abgeschlossen) ist, das aber nicht bedeutet, dass es weniger vertrauenswürdig als Gerüchte, Verschwörungstheorien, Einzelerfahrungen, oder Religion ist. Die selbst-kritische Haltung ist stattdessen ein zentraler Bestandteil von Wissenschaft und ein Zeichen dafür, dass die Selbstkorrektur-Mechanismen funktionieren.

Weiterführende Informationen

  • Über aktuelle Neuigkeiten zu Fehler in der Forschung berichtet Retractionwatch: https://retractionwatch.com

  • Auf ihrem Youtube-Kanal diskutiert Mai Thi Nguyen-Kim Probleme wie Publikationsbias und Selbstkorrekturmechanismen: https://www.youtube.com/watch?v=DHyRaUeHcGY

  • Sabine Hossenfelder behandelt in einem Youtube-Video das Problem, wie Klima-Wissenschaftler*innen ihre Befunde kommunizieren (sollten): https://www.youtube.com/watch?v=gMOjD_Lt8qY

  • Forschende für Vorträge und Workshops zum Thema Open Science vermittelt das deutsche Netzwerk der Open-Science Initiativen: https://osf.io/tbkzh/wiki/home/

  • Eine Einführung in das Thema Open Science für Studierende (englisch) bieten Pennington (2023), „Matters of significance“ (2024), und Chambers (2017).

  • Ein deutsches Glossar mit Open Science Begriffen ist online via FORRT verfügbar: https://forrt.org/glossary/german/

  • Open Science ist noch nicht die Norm, wie jeder dazu beitragen kann, fassen Kohrs u. a. (2023) zusammen.

Literatur

Bak-Coleman, Joseph, und Berna Devezer. 2023. „Causal claims about scientific rigor require rigorous causal evidence.“
Brodeur, Abel, Nikolai M Cook, Jonathan S Hartley, und Anthony Heyes. 2024. „Do Preregistration and Preanalysis Plans Reduce p-Hacking and Publication Bias? Evidence from 15,992 Test Statistics and Suggestions for Improvement“. Journal of Political Economy Microeconomics 2 (3): 000–000.
Chambers, CD. 2017. „The seven deadly sins of psychology. The Seven Deadly Sins of Psychology“. Princeton University Press. https://doi. org/10.2307/j. ctvc779w5.
Clarke, Beth, Pui Yu Lee, Sarah R Schiavone, Mijke Rhemtulla, und Simine Vazire. 2023. „The Prevalence of Direct Replication Articles in Top-Ranking Psychology Journals“.
Feldman, Gilad. 2024. „The value of replications goes beyond replicability and is tied to the value of the research it replicates: Commentary on Isager et al. (2024)“. OSF.
Ferguson, Joel, Rebecca Littman, Garret Christensen, Elizabeth Levy Paluck, Nicholas Swanson, Zenan Wang, Edward Miguel, David Birke, und John-Henry Pezzuto. 2023. „Survey of open science practices and attitudes in the social sciences“. Nat. Commun. 14 (1): 5401.
Fleck, Ludwik. 1935/2015. Entstehung und Entwicklung einer wissenschaftlichen Tatsache [Formation and development of a scientific fact]: Einführung in die Lehre vom Denkstil und Denkkollektiv [Introduction to thinking style and thinking collective]. 10. Auflage. Bd. 312. Suhrkamp-Taschenbuch Wissenschaft. Frankfurt am Main: Suhrkamp.
Giofrè, David, Ingrid Boedker, Geoff Cumming, Carlotta Rivella, und Patrizio Tressoldi. 2023. „The influence of journal submission guidelines on authors’ reporting of statistics and use of open research practices: Five years later“. Behav. Res. Methods 55 (7): 3845–54.
Hüffmeier, Joachim, Jens Mazei, und Thomas Schultze. 2016. „Reconceptualizing replication as a sequence of different studies: A replication typology“. Journal of Experimental Social Psychology 66: 81–92. https://doi.org/10.1016/j.jesp.2015.09.009.
Kohrs, Friederike E, Susann Auer, Alexandra Bannach-Brown, Susann Fiedler, Tamarinde Laura Haven, Verena Heise, Constance Holman, u. a. 2023. „Eleven strategies for making reproducible research and open science training the norm at research institutions“. Elife 12 (November).
Korbmacher, Max, Flavio Azevedo, Charlotte R. Pennington, Helena Hartmann, Madeleine Pownall, Kathleen Schmidt, Mahmoud Elsherif, u. a. 2023. „The replication crisis has led to positive structural, procedural, and community changes“. Communications Psychology 1 (1). https://doi.org/10.1038/s44271-023-00003-2.
„Matters of significance“. 2024. UCL Press.
Merton, Robert K. 1968. „The Matthew Effect in Science“. Science (New York, N.Y.) 159 (3810): 56–63. https://doi.org/10.1126/science.159.3810.56.
Nosek, Brian A, Tom E Hardwicke, Hannah Moshontz, Aurélien Allard, Katherine S Corker, Anna Dreber, Fiona Fidler, u. a. 2022. „Replicability, robustness, and reproducibility in psychological science“. Annu. Rev. Psychol. 73 (1): 719–48.
Penders, Bart. 2024. „Scandal in scientific reform: the breaking and remaking of science“. Journal of Responsible Innovation 11 (1): 2371172.
Pennington, Charlotte. 2023. A student’s guide to open science: Using the replication crisis to reform psychology. McGraw-Hill Education (UK).
Phaf, R Hans. 2024a. „Positive Deviance Underlies Successful Science: Normative Methodologies Risk Throwing out the Baby With the Bathwater“. Review of General Psychology, 10892680241235120.
———. 2024b. „Positive deviance underlies successful science: Normative methodologies risk throwing out the baby with the bathwater“. Rev. Gen. Psychol., Februar.
Protzko, John, Jon Krosnick, Leif Nelson, Brian A. Nosek, Jordan Axt, Matt Berent, Nicholas Buttrick, u. a. 2023. „High replicability of newly discovered social-behavioural findings is achievable“. Nature Human Behaviour. https://doi.org/10.1038/s41562-023-01749-9.
Schöch, Christof. 2023. „Repetitive research: a conceptual space and terminology of replication, reproduction, revision, reanalysis, reinvestigation and reuse in digital humanities“. International Journal of Digital Humanities 5 (2-3): 373–403. https://doi.org/10.1007/s42803-023-00073-y.
Soderberg, Courtney K., Timothy M. Errington, Sarah R. Schiavone, Julia Bottesini, Felix Singleton Thorn, Simine Vazire, Kevin M. Esterling, und Brian A. Nosek. 2021. „Initial evidence of research quality of registered reports compared with the standard publishing model“. Nature Human Behaviour. https://doi.org/10.1038/s41562-021-01142-4.
Urminsky, Oleg, und Berkeley J Dietvorst. 2024. „Taking the Full Measure: Integrating Replication into Research Practice to Assess Generalizability“. Journal of Consumer Research 51 (1): 157–68.
Wittgenstein, Ludwig. 1922/2004. Logisch-philosophische Abhandlung: Tractatus logico-philosophicus. 1. Aufl. Bd. 12. Edition Suhrkamp. Frankfurt am Main: Suhrkamp.