Bestandsaufnahme

Eine ähnliche Vertrauenskrise gab es in der Sozialpsychologie in den 1960er-Jahren (Lakens 2023). Ein entscheidender Unterschied zwischen der alten Krise und der aktuellen ist Bestandsaufnahme: Parallel zu den eigenartigen Befunden zur Zukunftsvorhersage von Bem vernetzten sich Psycholog*innen um Brian Nosek international und untersuchten die Replizierbarkeit von 100 Studien aus namhaften psychologischen Fachzeitschriften (Open Science Collaboration 2015). Sie fanden heraus, dass sich nur 39 der 100 Originalbefunde replizieren ließen. Bei allen anderen Studien waren die Replikationsergebnisse anders als die ursprünglichen Ergebnisse. Viele weitere Großprojekte folgten, alle mit ähnlichen Ergebnissen: Die Replikationsraten lagen weit unter den gewünschten.

Kritische Betrachtung der Open Science Collaboration, 2015

Obgleich dieses „Reproducibility Project Psychology” die gesamte Fachgemeinschaft zutiefst erschütterte und den Weg für einen Paradigmenwechsel ebnete, bemängeln manche Forschende auch negative Auswirkungen auf nachfolgende Replikationsforschung. Indem 100 Studien gleichzeitig von einer Gruppe aus über 100 Forschenden veröffentlicht wurden, setzte das Projekt unrealistische Maßstäbe für Replikationsforschung. Gleichzeitig war die Qualitätskontrolle dabei weniger streng, da die einzelnen Studien nicht alle in dem Maße begutachtet werden konnten, wie es bei einer traditionellen Veröffentlichung der Fall gewesen wäre (z.B. Röseler u. a. (2022)). Einige gleichermaßen ambitionierte Vorhaben wurden veröffentlicht, wie zum Beispiel die ManyLabs Studien (z.B. Klein u. a. (2014); Klein u. a. (2018)), oder Versuche, bei denen unabhängige Gruppen dieselben Hypothesen testeten und replizierten (Landy u. a. 2020). Oft beschränken sich diese Vorhaben auf Studien, die sich im Rahmen einer Online-Befragung replizieren lassen. Formate wie Längsschnittstudien oder Verhaltensbeobachtungen sind dabei aufgrund der schwierigeren Machbrakeit unterrepräsentiert.

Zahlreiche Verbünde folgten. Einige Projekte konzentrierten sich auf einzelne Phänomene. Beispielsweise haben sich 17 Forschungsgruppen zusammengetan, um den Befund des Facial Feedback (Strack, Martin, und Stepper 1988) zu replizieren (Wagenmakers u. a. 2016). Bei diesem Experiment geht darum, dass Personen einen Stift mit den Zähnen festhalten und dabei je nach Ausrichtung des Stiftes entweder diejenigen Muskeln anspannen, die sie auch zum Lachen benötigen oder eben nicht. In der “Lachen”-Bedingung fanden die Versuchspersonen im Anschluss Comics witziger. Die Replikation schlug fehl. 2022 wurde eine weitere Studie mit über 3000 Versuchspersonen aus 19 Ländern veröffentlicht - diesmal auch mit direkter Beteiligung von Fritz Strack, der die Originalstudie durchgeführt hatte (Coles u. a. 2022). Wieder zeigte sich, dass die Position eines Stiftes im Mund sich nicht auf die Bewertung von Stimuli auswirkt. Jenseits von sozialpsychologischen Befunden konzentrierten sich Forschende auch auf Bereiche wie Forschung mit Babys (Byers-Heinlein u. a. 2020) oder auf Studien bestimmter Zeitschriften (Camerer u. a. 2018).

Liste großer Replikationsprojekte (siehe auch FORRT Replication Hub)

Projekt	Thema	Link
Reproducibility Project: Psychology	Psychologie	https://osf.io/ezcuj/
CORE	Entscheidungsforschung	https://osf.io/5z4a8/
Data Replicada	Konsumentenverhalten und Entscheidungsforschung	https://datacolada.org/archives/category/replication
Many Labs 1	Psychologie	https://osf.io/wx7ck/
Many Labs 2	Psychologie	https://osf.io/8cd4r/
Many Labs 3	Psychologie	https://osf.io/ct89g/
Many Labs 4	Psychologie	https://osf.io/8ccnw/
Many Labs 5	Psychologie	https://osf.io/7a6rd/
Soto	Persönlichkeitspsychologie	https://doi.org/10.1177/0956797619831612
Social Sciences Replication Project	Verhaltensforschung	http://www.socialsciencesreplicationproject.com
Registered Replication Reports	Verschiedene	–
Many Babies 1	Entwicklungspsychologie	https://manybabies.org
Sports Sciences Replications	Sportwissenschaften	https://ssreplicationcentre.com
Hagen Cumulative Science Project	Psychologie	https://osf.io/d7za8/
I4R Replications	Politikwissenschaften	https://i4replication.org/reports.html
Experimental Philosophy	Experimentelle Philosophie	https://doi.org/10.1007/s13164-018-0400-9
Reproducibility Project: Cancer	Krebsforschung (Medizin)	https://www.cos.io/rpcb
SCORE	Sozialwissenschaften	https://www.cos.io/score
REPEAT	Gesundheitssystem	https://www.repeatinitiative.org
CREP	Psychologie	https://www.crep-psych.org
Boyce et al., 2023	Psychologie	https://doi.org/10.1098/rsos.231240
ReproSci	Biologie	https://reprosci.epfl.ch
Boyce et al. 2024	Psychologie	https://doi.org/10.31234/osf.io/an3yb

Definition von Replizierbarkeit

Zu sagen, was repliziert werden konnte und was nicht, ist erst nach einer Definition von Replikationserfolg möglich. Im Sprachgebrauch von Forschenden wird mit „wurde repliziert” gemeint, dass ein eine Studie, die dieselbe Forschungsfrage untersucht hat, zu gleichen Ergebnissen wie eine Originalstudie gekommen ist. Zu Replikationsfehlschlägen wird „konnte nicht repliziert werden” gesagt. Subtil davon abweichend kann „wurde nicht repliziert” meinen, dass keine Replikationsversuche existieren oder sie gar nicht erst durchgeführt werden konnten, weil die Originalstudie zentrale Punkte nicht ausreichend beschrieben haben (Errington u. a. 2021). Für eine Wissenschaft, die über 100 Jahre alt ist, scheint es überraschend, dass noch immer keine klare Definition wichtiger Konzepte rund um das Thema Replikation vorliegt, geschweige denn es zur Routine gehört, Studien zu replizieren. Während sich in verschiedenen Feldern abweichende Taxonomien, also Modelle zur Einordnung verschiedener Arten von Replikationen, durchgesetzt haben, werden Begriffe rund um Replikation in diesem Buch wie in der Tabelle beschrieben verwendet. Je nachdem, ob dieselben oder andere Daten und dieselben oder andere Analysen verwendet werden ergibt sich, ob von Reproduzierbarkeit, Replizierbarkeit, Robustheit, oder Verallgemeinerbarkeit die Rede ist.

Replikations-Taxonomie nach Turing Way (The Turing Way Community und Scriberia 2024)

		Daten
		gleich	unterschiedlich
Analyse	gleich	reproduzierbar	replizierbar
	unterschiedlich	robust	verallgemeinerbar

Statistischer Vergleich von Original- und Replikationsbefunden

Jede Messung hat eine Unschärfe. In Sozialwissenschaften sind Messungen von Eigenschaften oder Phänomenen wie Entscheidungsheuristiken extrem schwierig. Werden dann Original-Ergebnisse mit Replikations-Ergebnissen verglichen, haftet beiden Ergebnissen eine Unschärfe an. Das macht es schwierig zu sagen, ob Unterschiede aufgrund von Zufallsschwankungen oder aufgrund von Problemen der Originalstudie entstanden sind. Statistische Methoden, um die beiden Ergebnisse zu vergleichen gibt es zahlreiche. Sie unterscheiden sich typischerweise darin, wie sehr die Unschärfe der Originalstudie berücksichtigt wird. Aufgrund älterer Methodenstandards sind Original-Ergebnisse meistens extrem unscharf und je stärker sie gewichtet werden, desto positiver fällt der Vergleich aus bzw. desto höher ist die geschätzte Replikationsrate. Je nach Methode können Replikationsraten dann zwischen 40% und 80% liegen. Ein Vergleich von Kriterien mit der FORRT Replikationendatenbank ist online verfügbar.

Weiterführende Literatur

Für eine systematischere, in den Informationswissenschaften verankerte Taxonomie zur Art der Replikation siehe Plesser (2018). Eine an den statistischen Methoden angelehnte Taxonomie für die Ergebnisse von Replikationsstudien haben LeBel et al. (LeBel u. a. 2019) vorgeschlagen. Philosophisch diskutiert wird Replikationsnähe zum Beispiel von Choi (2023) und Leonelli (2023).

Replikationstaxonomie

Unterscheidungskriterium	Ausprägungen
Ergebnisse einer Replikationsstudie	Erfolgreich Fehlgeschlagen Unklar oder gemischt
Nähe einer Replikationsstudie zur Originalstudie (in Anlehnung an Lebel REF und Hüffmeier et al REF)	Direkte Replikation (selbe Versuchsleiter*innen, selbe Versuchsmaterialien, neue Versuchspersonen) Nahe Replikation (andere Versuchsleiter*innen, möglichst ähnliche Versuchsmaterialien, neue Versuchspersonen) Konzeptuelle oder konstruktive Replikation (andere Versuchsleiter*innen, andere Versuchsmaterialien, neue Versuchspersonen)
Ziel der Replikation	Reproduktion Mit selben Daten und selbem Programmiercode zu denselben Ergebnissen gelangen Replikation Mit anderen Daten zu denselben Ergebnissen gelangen

„Eine Schwalbe macht noch keinen Sommer”

Ob an einem wissenschaftlichen Befund „etwas dran ist”, er also einen Wahrheitsanspruch hat, hängt – neben seiner eigentlichen Art der Etablierung – bei der Replikationsforschung von vielen Faktoren ab. Was waren die Ergebnisse der Replikationsstudie? Wie viele und wie unterschiedliche Studien wurden durchgeführt? Wie sahen die genauen Methoden aus? Was waren die Unterschiede zwischen Replikationen und Originalstudie? Während Einzelstudien immer einen Erkenntnisgewinn liefern (mindestens, ob eine bestimmte Methode praktikabel ist, (Sikorski und Andreoletti 2023), können sie je nach Forschungsgebiet stark variieren Landy u. a. (2020). Für das Gesamtbild braucht es mehr, wie zum Beispiel eine statistische Zusammenfassung vieler einzelner Studien zu einer Gesamtstudie (Meta-Analyse). Ein Beispiel mit Fantasiedaten befindet sich dazu in der folgenden Abbildung.

Betrachtet man viele Studien, die den Zusammenhang zweier Dinge, wie zum Beispiel Einkommen und Bildungsabschluss, untersucht haben, so werden sich die Studien hinsichtlich der Details unterscheiden: Was wurde alles zum Einkommen gezählt (Netto, Brutto, Sozialleistungen, Einkommen von Familienangehörigen, Werte über einen Zeitraum oder von einem bestimmten Zeitpunkt aus der Vergangenheit, usw.) oder auch welche Personen befragt wurden (Studierende, Berufstätige, wurden Befragte bezahlt, usw.). All diese Unterschiede wirken sich möglicherweise auf den Zusammenhang aus, und selbst wenn sie es nicht tun, unterliegen Zusammenhänge oft Schwankungen, die sich durch die Messmethoden ergeben. In dem Beispiel lässt sich die Stärke des Zusammenhangs auf eine Zahl und eine dazugehörige Präzision herunterbrechen. Die Zahl heißt hier “Korrelation” und die Schärfe “Fehlerbalken”. In dem Wald-Diagramm (Forest Plot / Blobbogram) sind mögliche Korrelationen aus verschiedenen Studien abgebildet. Im Rahmen einer Meta-Analyse können Studienergebnisse anschließend kombiniert und Unterschiede untersucht werden.

library(ggplot2)
library(metafor)

Lade nötiges Paket: Matrix

Lade nötiges Paket: metadat

Lade nötiges Paket: numDeriv

Loading the 'metafor' package (version 4.6-0). For an
introduction to the package please type: help(metafor)

set.seed(10)
k <- 15
cors <- data.frame("Stichprobenumfang" = round(rchisq(n = k, df = 2, ncp = 0)*5+10, digits = 0)
                   , "Korrelation" = rnorm(n = k, mean = .05, sd = .3)
                   , "Studie" = paste("Studie", toupper(letters[1:k]), sep = " ")
                   , "yi" = NA
                   , "vi" = NA
                   )

cors[, 4:5] <- metafor::escalc(ni = cors$Stichprobenumfang, ri = cors$Korrelation, measure = "COR")
cors$ucb <- cors$yi + qnorm(.975)*cors$vi
cors$lcb <- cors$yi - qnorm(.975)*cors$vi



ggplot(cors, aes(x = Korrelation, y = reorder(Studie, Korrelation))) + 
  geom_point() + geom_errorbar(xmin = cors$lcb, xmax = cors$ucb) + 
  geom_vline(xintercept = 0, lty = 2) + theme_classic() + ylab("") + 
  xlim(c(-.4, .6))

Phänomen-zentrierte Replikationsprojekte

Im Gegensatz zu dem breit gefächerten Reproducibility Project Psychology (Open Science Collaboration 2015) und anderen Versuchen, die Replikationsrate für ganze Felder zu schätzen (Camerer u. a. 2016; Feldman 2021; Brodeur, Mikola, und Cook 2024), haben sich andere Versuche auf grundlegende Phänomene fokussiert. Dutzende Gruppen auf der ganzen Welt haben sich in solchen Fällen zusammengeschlossen, auf einen Versuchsaufbau geeinigt, und führen die Studien mit einer enormen Anzahl an Versuchspersonen durch. Die meisten dieser Vorhaben stammen aus der Psychologie. Während die dabei gefundenen Effektstärken, also sozusagen die Deutlichkeit eines Zusammenhanges oder Befundes, in fast allen Fällen weit unter denen bisheriger Studien lagen (Kvarven, Strømland, und Johannesson 2020), waren sie zudem beim Großteil der Studien null, die Phänomene waren also „nicht sichtbar” (Alogna u. a. 2014; Eerland u. a. 2016; Bouwmeester u. a. 2017; O’Donnell u. a. 2018; Wagenmakers u. a. 2016.; Cheung u. a. 2016; Vaidis u. a. 2024; Rife u. a. 2024). So konnte beispielsweise mit einer enormen Präzision gezeigt werden, dass eine Geschichte über einen Professor Versuchspersonen in einem anschließenden Leistungstest nicht schlauer macht (O’Donnell u. a. 2018).

Effiziente Nutzung von Ressourcen?

Wie geht man mit Ressourcen bei Replikationen um? Bei Zusammenschlüssen vieler Forschenden stellt sich diese Frage unweigerlich. Erstellen alle Gruppen unabhängig voneinander die Studie? Halten sich alle an ein zuvor abgestimmtes Protokoll? Führen sie die Studie nacheinander durch, um voneinander zu lernen? Bei Registered Replication Reports wird für gewöhnlich zuvor mit anderen Forschenden (z.B. den Autor*innen der Originalstudie) ein Versuchsaufbau abgestimmt. In anderen Fällen wird gemeinsam ein Versuchsaufbau erarbeitet, der zum Testen der Theorie ideal sein sollte (Creative Destruction Approach, Tierney u. a. 2020). Teams in verschiedenen Ländern übersetzen das Protokoll dann und halten sich bei der Durchführung eng daran. Diese Protokolle sind manchmal nicht im Vorhinein getestet (Buttliere 2024), basieren oft aber auf erfolgreichen, namhaften Studien. Das hat den Vorteil, dass Unterschiede zwischen den Gruppen nicht auf Unterschiede in der Durchführung zurückzuführen sind und sich Kulturen vergleichen lassen (Kakinohana, Pilati, und Klein 2022). Ein Nachteil dabei ist jedoch, dass, wenn an einem, zwei, oder fünf Standorten das Experiment schon nicht funktioniert, es fraglich ist, ob die übrigen 30 Gruppen es auch probieren sollten. In den Worten von Buttliere (2024): “Wer bekommt bessere Ergebnisse? 39 Personen, die etwas zum ersten Mal tun, oder eine Person, die etwas 39 Mal tut?”

Disziplin-zentrierte Replikationsprojekte

Ungefähr die Hälfte aller psychologischen Befunde ist also nicht replizierbar. Heißt das, alle sozialwissenschaftlichen Lehrbücher aus allen Disziplinen sind zur Hälfte falsch? Die klare Antwort heißt nein. Die akkurate Antwort lautet kommt darauf an.

Jenseits der Psychologie

Inwiefern es auf die Disziplin innerhalb der Sozialwissenschaften ankommt, wurde bisher vor allem in der Psychologie untersucht. Aktuelle Tendenzen weisen darauf hin, dass Replikationsraten in der Persönlichkeitspsychologie und kognitiven Psychologie (Soto 2019) höher liegen als die in der Sozialpsychologie (Open Science Collaboration 2015) oder im Marketing (Charlton 2022). Während schon hunderte Replikationsversuche für sozialpsychologische Studien veröffentlicht sind, sind es in anderen Bereichen wie dem Marketing aktuell weniger – Stand Oktober 2022 sogar nur neun. Bereiche außerhalb der Psychologie sind von Replikations-Problemen ebenfalls betroffen. Von Problemen der Replizierbarkeit, Reproduzierbarkeit, und Nachvollziehbarkeit sind fast alle Disziplinen betroffen. Neue Lösungsansätze werden in Medizin, Biologie, Chemie, Physik, Geschichtswissenschaften, Politikwissenschaften, Erziehungswissenschaften, Informatik, und vielen weiteren Bereichen diskutiert.

Literatur

Alogna, V. K., M. K. Attaya, P. Aucoin, Štěpán Bahník, S. Birch, A. R. Birt, B. H. Bornstein, u. a. 2014. „Registered Replication Report: Schooler and Engstler-Schooler (1990)“. Perspectives on psychological science : a journal of the Association for Psychological Science 9 (5): 556–78. https://doi.org/10.1177/1745691614545653.

Bouwmeester, S., P. P. J. L. Verkoeijen, B. Aczel, F. Barbosa, L. Bègue, P. Brañas-Garza, T. G. H. Chmura, u. a. 2017. „Registered Replication Report: Rand, Greene, and Nowak (2012)“. Perspectives on psychological science : a journal of the Association for Psychological Science 12 (3): 527–42. https://doi.org/10.1177/1745691617693624.

Brodeur, Abel, Derek Mikola, und Nikolai Cook. 2024. „Mass Reproducibility and Replicability: A New Hope“.

Buttliere, Brett. 2024. „Was this Registered Report pilot tested? Examination of Vaidis, Sleegers, Van Leeuwen, DeMarree, ... & Priolo, D. (2024)“. PsyArXiv.

Byers-Heinlein, Krista, Christina Bergmann, Catherine Davies, Michael C Frank, J Kiley Hamlin, Melissa Kline, Jonathan F Kominsky, u. a. 2020. „Building a collaborative psychological science: Lessons learned from ManyBabies 1.“ Canadian Psychology/Psychologie Canadienne 61 (4): 349.

Camerer, Colin F., Anna Dreber, Eskil Forsell, Teck-Hua Ho, Jürgen Huber, Magnus Johannesson, Michael Kirchler, u. a. 2016. „Evaluating replicability of laboratory experiments in economics“. Science (New York, N.Y.) 351 (6280): 1433–36. https://doi.org/10.1126/science.aaf0918.

Camerer, Colin F., Anna Dreber, Felix Holzmeister, Teck-Hua Ho, Jürgen Huber, Magnus Johannesson, Michael Kirchler, u. a. 2018. „Evaluating the replicability of social science experiments in Nature and Science between 2010 and 2015“. Nature human behaviour 2 (9): 637–44. https://doi.org/10.1038/s41562-018-0399-z.

Charlton, Aaron. 2022. „Replications of Marketing Studies“. OpenMKT.org. https://openmkt.org/research/replications-of-marketing-studies/.

Cheung, Irene, Lorne Campbell, Etienne P. LeBel, Robert A. Ackerman, Bülent Aykutog˘lu, Štěpán Bahník, Jeffrey D. Bowen, u. a. 2016. „Registered Replication Report: Study 1 From Finkel, Rusbult, Kumashiro, & Hannon (2002)“. Perspectives on psychological science : a journal of the Association for Psychological Science 11 (5): 750–64. https://doi.org/10.1177/1745691616664694.

Choi, Hong Hui. 2023. „In defense of the resampling account of replication.“ Journal of Theoretical and Philosophical Psychology 43 (4): 249–51. https://doi.org/10.1037/teo0000224.

Coles, Nicholas A., David S. March, Fernando Marmolejo-Ramos, Jeff T. Larsen, Nwadiogo C. Arinze, Izuchukwu L. G. Ndukaihe, Megan L. Willis, u. a. 2022. „A multi-lab test of the facial feedback hypothesis by the Many Smiles Collaboration“. Nature human behaviour. https://doi.org/10.1038/s41562-022-01458-9.

Eerland, Anita, Andrew M. Sherrill, Joseph P. Magliano, Rolf A. Zwaan, Jack D. Arnal, Philip Aucoin, Stephanie A. Berger, u. a. 2016. „Registered Replication Report: Hart & Albarracín (2011)“. Perspectives on psychological science : a journal of the Association for Psychological Science 11 (1): 158–71. https://doi.org/10.1177/1745691615605826.

Errington, Timothy M., Maya Mathur, Courtney K. Soderberg, Alexandria Denis, Nicole Perfito, Elizabeth Iorns, und Brian A. Nosek. 2021. „Investigating the replicability of preclinical cancer biology“. eLIFE 10. https://doi.org/10.7554/eLife.71601.

Feldman, Gilad. 2021. „Replications and extensions of classic findings in Judgment and Decision Making“. https://doi.org/10.17605/OSF.IO/5Z4A8.

Kakinohana, Regis K., Ronaldo Pilati, und Richard A. Klein. 2022. „Does anchoring vary across cultures? Expanding the Many Labs analysis“. European Journal of Social Psychology. https://doi.org/10.1002/ejsp.2924.

Klein, Richard Anthony, Kate A. Ratliff, Michelangelo Vianello, Reginald B. Adams, Štěpán Bahník, Michael J. Bernstein, Konrad Bocian, u. a. 2014. „Investigating Variation in Replicability“. Social Psychology 45 (3): 142–52. https://doi.org/10.1027/1864-9335/a000178.

Klein, Richard Anthony, Michelangelo Vianello, Fred Hasselman, Byron Gregory Adams, Reginald B. Adams, Sinan Alper, Mark Aveyard, u. a. 2018. „Many Labs 2: Investigating Variation in Replicability Across Sample and Setting“. https://doi.org/10.31234/osf.io/9654g.

Kvarven, Amanda, Eirik Strømland, und Magnus Johannesson. 2020. „Comparing meta-analyses and preregistered multiple-laboratory replication projects“. Nature human behaviour 4 (4): 423–34. https://doi.org/10.1038/s41562-019-0787-z.

Lakens, Daniel. 2023. „Concerns about Replicability, Theorizing, Applicability, Generalizability, and Methodology across Two Crises in Social Psychology“. https://doi.org/10.31234/osf.io/dtvs7.

Landy, Justin F., Miaolei Liam Jia, Isabel L. Ding, Domenico Viganola, Warren Tierney, Anna Dreber, Magnus Johannesson, u. a. 2020. „Crowdsourcing hypothesis tests: Making transparent how design choices shape research results“. Psychological Bulletin 146 (5): 451–79. https://doi.org/10.1037/bul0000220.

LeBel, Etienne P., Wolf Vanpaemel, Irene Cheung, und Lorne Campbell. 2019. „A Brief Guide to Evaluate Replications“. Meta-Psychology 3. https://doi.org/10.15626/MP.2018.843.

Leonelli, Sabina. 2023. Philosophy of Open Science. Cambridge University Press. https://doi.org/10.1017/9781009416368.

McShane, Blakeley B, Ulf Böckenholt, und Karsten T Hansen. 2022. „Variation and covariation in large-scale replication projects: An evaluation of replicability“. J. Am. Stat. Assoc. 117 (540): 1605–21.

O’Donnell, Michael, Leif D. Nelson, Evi Ackermann, Balazs Aczel, Athfah Akhtar, Silvio Aldrovandi, Nasseem Alshaif, u. a. 2018. „Registered Replication Report: Dijksterhuis and van Knippenberg (1998)“. Perspectives on psychological science : a journal of the Association for Psychological Science 13 (2): 268–94. https://doi.org/10.1177/1745691618755704.

Open Science Collaboration. 2015. „Psychology: Estimating the reproducibility of psychological science“. Science (New York, N.Y.) 349 (6251): aac4716. https://doi.org/10.1126/science.aac4716.

Plesser, Hans E. 2018. „Reproducibility vs. Replicability: A Brief History of a Confused Terminology“. Frontiers in Neuroinformatics 11 (Januar). https://doi.org/10.3389/fninf.2017.00076.

Rife, Sean, Quinn Lambert, Robert Calin-Jageman, Adamkovic Matus, Gabriel Banik, Itxaso Barberia, Jennifer Beaudry, u. a. 2024. „Registered Replication Report: Study 3 from Trafimow and Hughes (2012)“. Advances in Methods and Practices in Psychological Science.

Röseler, Lukas, Taisia Gendlina, Josefine Krapp, Noemi Labusch, und Astrid Schütz. 2022. „Successes and Failures of Replications: A Meta-Analysis of Independent Replication Studies Based on the OSF Registries“. https://doi.org/10.31222/osf.io/8psw2.

Sikorski, Michał, und Mattia Andreoletti. 2023. „Epistemic functions of replicability in experimental sciences: Defending the orthodox view“. Found. Sci., Februar.

Soto, Christopher J. 2019. „How Replicable Are Links Between Personality Traits and Consequential Life Outcomes? The Life Outcomes of Personality Replication Project“. Psychological Science 30 (5): 711–27. https://doi.org/10.1177/0956797619831612.

Strack, Fritz, Leonard L. Martin, und Sabine Stepper. 1988. „Inhibiting and facilitating conditions of the human smile: A nonobtrusive test of the facial feedback hypothesis“. Journal of Personality and Social Psychology 54 (5): 768–77. https://doi.org/10.1037/0022-3514.54.5.768.

The Turing Way Community, und Scriberia. 2024. „Illustrations from The Turing Way: Shared under CC-BY 4.0 for reuse“. Zenodo. https://doi.org/10.5281/ZENODO.3332807.

Tierney, Warren, Jay H Hardy III, Charles R Ebersole, Keith Leavitt, Domenico Viganola, Elena Giulia Clemente, Michael Gordon, u. a. 2020. „Creative destruction in science“. Organizational Behavior and Human Decision Processes 161: 291–309.

Vaidis, David C, Willem WA Sleegers, Florian Van Leeuwen, Kenneth G DeMarree, Bjørn Sætrevik, Robert M Ross, Kathleen Schmidt, u. a. 2024. „A multilab replication of the induced-compliance paradigm of cognitive dissonance“. Advances in Methods and Practices in Psychological Science 7 (1): 25152459231213375.

Wagenmakers, Eric-Jan, Titia Beek, Laura Dijkhoff, Quentin F. Gronau, Alberto Acosta, Reginald B. Adams, Daniel N. Albohn, u. a. 2016. „Registered Replication Report: Strack, Martin, & Stepper (1988)“. Perspectives on psychological science : a journal of the Association for Psychological Science 11 (6): 917–28. https://doi.org/10.1177/1745691616674458.