Many Labs 5: Testing Pre-Data-Collection Peer Review as an Intervention to Increase Replicability
Hans Ijzerman
(1)
,
Charles Ebersole
,
Maya Mathur
,
Erica Baranski
,
Diane-Jo Bart-Plange
,
Nicholas Buttrick
,
Christopher Chartier
,
Katherine Corker
,
Martin Corley
,
Joshua Hartshorne
,
Ljiljana Lazarević
,
Hugh Rabagliati
,
Ivan Ropovik
,
Balazs Aczel
,
Lena Aeschbach
,
Luca Andrighetto
,
Jack Arnal
,
Holly Arrow
,
Peter Babincak
,
Bence Bakos
,
Gabriel Baník
,
Ernest Baskin
,
Radomir Belopavlović
,
Michael Bernstein
,
Michał Białek
,
Nicholas Bloxsom
,
Bojana Bodroža
,
Diane Bonfiglio
,
Leanne Boucher
,
Florian Brühlmann
,
Claudia Brumbaugh
,
Erica Casini
,
Yiling Chen
,
Carlo Chiorri
,
William Chopik
,
Oliver Christ
,
Antonia Ciunci
,
Heather Claypool
,
Sean Coary
,
Marija Čolić
,
W. Matthew Collins
,
Paul Curran
,
Chris Day
,
Benjamin Dering
,
Anna Dreber
,
John Edlund
,
Filipe Falcão
,
Anna Fedor
,
Lily Feinberg
,
Ian Ferguson
,
Máire Ford
,
Michael Frank
,
Emily Fryberger
,
Alexander Garinther
,
Katarzyna Gawryluk
,
Kayla Ashbaugh
,
Mauro Giacomantonio
,
Steffen Giessner
,
Jon Grahe
,
Rosanna Guadagno
,
Ewa Hałasa
,
Peter Hancock
,
Rias Hilliard
,
Joachim Hüffmeier
,
Sean Hughes
,
Katarzyna Idzikowska
,
Michael Inzlicht
,
Alan Jern
,
William Jiménez-Leal
,
Magnus Johannesson
,
Jennifer Joy-Gaba
,
Mathias Kauff
,
Danielle Kellier
,
Grecia Kessinger
,
Mallory Kidwell
,
Amanda Kimbrough
,
Josiah King
,
Vanessa Kolb
,
Sabina Kołodziej
,
Marton Kovacs
,
Karolina Krasuska
,
Sue Kraus
,
Lacy Krueger
,
Katarzyna Kuchno
,
Caio Ambrosio Lage
,
Eleanor Langford
,
Carmel Levitan
,
Tiago Jessé Souza de Lima
,
Hause Lin
,
Samuel Lins
,
Jia Loy
,
Dylan Manfredi
,
Łukasz Markiewicz
,
Madhavi Menon
,
Brett Mercier
,
Mitchell Metzger
,
Venus Meyet
,
Ailsa Millen
,
Jeremy Miller
,
Andres Montealegre
,
Don Moore
,
Rafał Muda
,
Gideon Nave
,
Austin Lee Nichols
,
Sarah Novak
,
Christian Nunnally
,
Ana Orlić
,
Anna Palinkas
,
Angelo Panno
,
Kimberly Parks
,
Ivana Pedović
,
Emilian Pękala
,
Matthew Penner
,
Sebastiaan Pessers
,
Boban Petrović
,
Thomas Pfeiffer
,
Damian Pieńkosz
,
Emanuele Preti
,
Danka Purić
,
Tiago Ramos
,
Jonathan Ravid
,
Timothy Razza
,
Katrin Rentzsch
,
Juliette Richetin
,
Sean Rife
,
Anna Dalla Rosa
,
Kaylis Hase Rudy
,
Janos Salamon
,
Blair Saunders
,
Przemysław Sawicki
,
Kathleen Schmidt
,
Kurt Schuepfer
,
Thomas Schultze
,
Stefan Schulz-Hardt
,
Astrid Schütz
,
Ani Shabazian
,
Rachel Shubella
,
Adam Siegel
,
Rúben Silva
,
Barbara Sioma
,
Lauren Skorb
,
Luana Elayne Cunha de Souza
,
Sara Steegen
,
L. Stein
,
R. Weylin Sternglanz
,
Darko Stojilović
,
Daniel Storage
,
Gavin Brent Sullivan
,
Barnabas Szaszi
,
Peter Szecsi
,
Orsolya Szöke
,
Attila Szuts
,
Manuela Thomae
,
Natasha Tidwell
,
Carly Tocco
,
Ann-Kathrin Torka
,
Francis Tuerlinckx
,
Wolf Vanpaemel
,
Leigh Ann Vaughn
,
Michelangelo Vianello
,
Domenico Viganola
,
Maria Vlachou
,
Ryan Walker
,
Sophia Weissgerber
,
Aaron Wichman
,
Bradford Wiggins
,
Daniel Wolf
,
Michael Wood
,
David Zealley
,
Iris Žeželj
,
Mark Zrubka
,
Brian Nosek
Hans Ijzerman
- Fonction : Auteur
- PersonId : 171591
- IdHAL : hans-ijzerman
Charles Ebersole
- Fonction : Auteur
- PersonId : 794163
- ORCID : 0000-0002-8607-2579
Maya Mathur
- Fonction : Auteur
Erica Baranski
- Fonction : Auteur
- PersonId : 807074
- ORCID : 0000-0002-0577-3905
Diane-Jo Bart-Plange
- Fonction : Auteur
Nicholas Buttrick
- Fonction : Auteur
Christopher Chartier
- Fonction : Auteur
- PersonId : 793739
- ORCID : 0000-0002-4568-4827
Katherine Corker
- Fonction : Auteur
Martin Corley
- Fonction : Auteur
Joshua Hartshorne
- Fonction : Auteur
Ljiljana Lazarević
- Fonction : Auteur
Hugh Rabagliati
- Fonction : Auteur
Ivan Ropovik
- Fonction : Auteur
- PersonId : 792938
- ORCID : 0000-0001-5222-1233
Balazs Aczel
- Fonction : Auteur
- PersonId : 792930
- ORCID : 0000-0001-9364-4988
Lena Aeschbach
- Fonction : Auteur
Luca Andrighetto
- Fonction : Auteur
Jack Arnal
- Fonction : Auteur
- PersonId : 810656
- ORCID : 0000-0002-6203-1414
Holly Arrow
- Fonction : Auteur
Peter Babincak
- Fonction : Auteur
- PersonId : 792931
- ORCID : 0000-0002-3407-6631
Bence Bakos
- Fonction : Auteur
Gabriel Baník
- Fonction : Auteur
- PersonId : 792932
- ORCID : 0000-0002-6601-3619
Ernest Baskin
- Fonction : Auteur
- PersonId : 792933
- ORCID : 0000-0001-9484-2839
Radomir Belopavlović
- Fonction : Auteur
Michael Bernstein
- Fonction : Auteur
Michał Białek
- Fonction : Auteur
- PersonId : 810657
- ORCID : 0000-0002-5062-5733
Nicholas Bloxsom
- Fonction : Auteur
Bojana Bodroža
- Fonction : Auteur
Diane Bonfiglio
- Fonction : Auteur
Leanne Boucher
- Fonction : Auteur
- PersonId : 810658
- ORCID : 0000-0001-7587-0869
Florian Brühlmann
- Fonction : Auteur
Claudia Brumbaugh
- Fonction : Auteur
Erica Casini
- Fonction : Auteur
Yiling Chen
- Fonction : Auteur
Carlo Chiorri
- Fonction : Auteur
William Chopik
- Fonction : Auteur
- PersonId : 794173
- ORCID : 0000-0003-1748-8738
Oliver Christ
- Fonction : Auteur
Antonia Ciunci
- Fonction : Auteur
Heather Claypool
- Fonction : Auteur
Sean Coary
- Fonction : Auteur
Marija Čolić
- Fonction : Auteur
W. Matthew Collins
- Fonction : Auteur
- PersonId : 810659
- ORCID : 0000-0003-4711-5860
Paul Curran
- Fonction : Auteur
Chris Day
- Fonction : Auteur
Benjamin Dering
- Fonction : Auteur
Anna Dreber
- Fonction : Auteur
John Edlund
- Fonction : Auteur
Filipe Falcão
- Fonction : Auteur
Anna Fedor
- Fonction : Auteur
Lily Feinberg
- Fonction : Auteur
Ian Ferguson
- Fonction : Auteur
Máire Ford
- Fonction : Auteur
Michael Frank
- Fonction : Auteur
- PersonId : 760562
- ORCID : 0000-0001-8451-0523
Emily Fryberger
- Fonction : Auteur
Alexander Garinther
- Fonction : Auteur
Katarzyna Gawryluk
- Fonction : Auteur
Kayla Ashbaugh
- Fonction : Auteur
Mauro Giacomantonio
- Fonction : Auteur
Steffen Giessner
- Fonction : Auteur
Jon Grahe
- Fonction : Auteur
Rosanna Guadagno
- Fonction : Auteur
Ewa Hałasa
- Fonction : Auteur
Peter Hancock
- Fonction : Auteur
Rias Hilliard
- Fonction : Auteur
Joachim Hüffmeier
- Fonction : Auteur
Sean Hughes
- Fonction : Auteur
Katarzyna Idzikowska
- Fonction : Auteur
- PersonId : 810660
- ORCID : 0000-0002-0689-5285
Michael Inzlicht
- Fonction : Auteur
- PersonId : 763928
- ORCID : 0000-0001-9297-6497
- IdRef : 163778620
Alan Jern
- Fonction : Auteur
William Jiménez-Leal
- Fonction : Auteur
- PersonId : 794211
- ORCID : 0000-0002-8824-5269
Magnus Johannesson
- Fonction : Auteur
- PersonId : 794109
- ORCID : 0000-0001-8759-6393
- IdRef : 056756410
Jennifer Joy-Gaba
- Fonction : Auteur
- PersonId : 794157
- ORCID : 0000-0001-6782-4061
Mathias Kauff
- Fonction : Auteur
Danielle Kellier
- Fonction : Auteur
Grecia Kessinger
- Fonction : Auteur
Mallory Kidwell
- Fonction : Auteur
Amanda Kimbrough
- Fonction : Auteur
Josiah King
- Fonction : Auteur
Vanessa Kolb
- Fonction : Auteur
Sabina Kołodziej
- Fonction : Auteur
Marton Kovacs
- Fonction : Auteur
- PersonId : 794670
- ORCID : 0000-0002-8142-8492
Karolina Krasuska
- Fonction : Auteur
Sue Kraus
- Fonction : Auteur
Lacy Krueger
- Fonction : Auteur
Katarzyna Kuchno
- Fonction : Auteur
Caio Ambrosio Lage
- Fonction : Auteur
Eleanor Langford
- Fonction : Auteur
Carmel Levitan
- Fonction : Auteur
- PersonId : 794184
- ORCID : 0000-0001-5403-444X
Tiago Jessé Souza de Lima
- Fonction : Auteur
Hause Lin
- Fonction : Auteur
- PersonId : 794207
- ORCID : 0000-0003-4590-7039
Samuel Lins
- Fonction : Auteur
- PersonId : 794214
- ORCID : 0000-0001-6824-4691
Jia Loy
- Fonction : Auteur
Dylan Manfredi
- Fonction : Auteur
Łukasz Markiewicz
- Fonction : Auteur
- PersonId : 810661
- ORCID : 0000-0003-4554-1559
Madhavi Menon
- Fonction : Auteur
Brett Mercier
- Fonction : Auteur
Mitchell Metzger
- Fonction : Auteur
Venus Meyet
- Fonction : Auteur
Ailsa Millen
- Fonction : Auteur
Jeremy Miller
- Fonction : Auteur
- PersonId : 794185
- ORCID : 0000-0003-4409-7660
Andres Montealegre
- Fonction : Auteur
Don Moore
- Fonction : Auteur
Rafał Muda
- Fonction : Auteur
Gideon Nave
- Fonction : Auteur
Austin Lee Nichols
- Fonction : Auteur
Sarah Novak
- Fonction : Auteur
Christian Nunnally
- Fonction : Auteur
Ana Orlić
- Fonction : Auteur
Anna Palinkas
- Fonction : Auteur
Angelo Panno
- Fonction : Auteur
Kimberly Parks
- Fonction : Auteur
Ivana Pedović
- Fonction : Auteur
Emilian Pękala
- Fonction : Auteur
Matthew Penner
- Fonction : Auteur
Sebastiaan Pessers
- Fonction : Auteur
Boban Petrović
- Fonction : Auteur
Thomas Pfeiffer
- Fonction : Auteur
Damian Pieńkosz
- Fonction : Auteur
Emanuele Preti
- Fonction : Auteur
Danka Purić
- Fonction : Auteur
- PersonId : 781133
- ORCID : 0000-0001-5126-3781
Tiago Ramos
- Fonction : Auteur
Jonathan Ravid
- Fonction : Auteur
Timothy Razza
- Fonction : Auteur
Katrin Rentzsch
- Fonction : Auteur
Juliette Richetin
- Fonction : Auteur
Sean Rife
- Fonction : Auteur
Anna Dalla Rosa
- Fonction : Auteur
- PersonId : 810662
- ORCID : 0000-0003-4862-4077
Kaylis Hase Rudy
- Fonction : Auteur
Janos Salamon
- Fonction : Auteur
Blair Saunders
- Fonction : Auteur
Przemysław Sawicki
- Fonction : Auteur
- PersonId : 810663
- ORCID : 0000-0002-3345-5015
Kathleen Schmidt
- Fonction : Auteur
- PersonId : 794193
- ORCID : 0000-0002-9946-5953
Kurt Schuepfer
- Fonction : Auteur
Thomas Schultze
- Fonction : Auteur
Stefan Schulz-Hardt
- Fonction : Auteur
Astrid Schütz
- Fonction : Auteur
Ani Shabazian
- Fonction : Auteur
Rachel Shubella
- Fonction : Auteur
Adam Siegel
- Fonction : Auteur
Rúben Silva
- Fonction : Auteur
Barbara Sioma
- Fonction : Auteur
Lauren Skorb
- Fonction : Auteur
Luana Elayne Cunha de Souza
- Fonction : Auteur
Sara Steegen
- Fonction : Auteur
L. Stein
- Fonction : Auteur
R. Weylin Sternglanz
- Fonction : Auteur
Darko Stojilović
- Fonction : Auteur
Daniel Storage
- Fonction : Auteur
- PersonId : 794196
- ORCID : 0000-0001-7147-2206
Gavin Brent Sullivan
- Fonction : Auteur
Barnabas Szaszi
- Fonction : Auteur
- PersonId : 792939
- ORCID : 0000-0001-7078-2712
Peter Szecsi
- Fonction : Auteur
- PersonId : 794672
- ORCID : 0000-0001-9156-1337
Orsolya Szöke
- Fonction : Auteur
Attila Szuts
- Fonction : Auteur
Manuela Thomae
- Fonction : Auteur
Natasha Tidwell
- Fonction : Auteur
Carly Tocco
- Fonction : Auteur
Ann-Kathrin Torka
- Fonction : Auteur
Francis Tuerlinckx
- Fonction : Auteur
Wolf Vanpaemel
- Fonction : Auteur
- PersonId : 794200
- ORCID : 0000-0002-5855-3885
Leigh Ann Vaughn
- Fonction : Auteur
- PersonId : 810664
- ORCID : 0000-0002-2399-7400
Michelangelo Vianello
- Fonction : Auteur
- PersonId : 794202
- ORCID : 0000-0002-1530-1469
Domenico Viganola
- Fonction : Auteur
Maria Vlachou
- Fonction : Auteur
Ryan Walker
- Fonction : Auteur
Sophia Weissgerber
- Fonction : Auteur
- PersonId : 794154
- ORCID : 0000-0002-6441-358X
Aaron Wichman
- Fonction : Auteur
- PersonId : 794216
- ORCID : 0000-0002-2641-440X
Bradford Wiggins
- Fonction : Auteur
Daniel Wolf
- Fonction : Auteur
Michael Wood
- Fonction : Auteur
- PersonId : 794217
- ORCID : 0000-0003-3074-7845
David Zealley
- Fonction : Auteur
Iris Žeželj
- Fonction : Auteur
- PersonId : 810665
- ORCID : 0000-0002-9527-1406
Mark Zrubka
- Fonction : Auteur
Brian Nosek
- Fonction : Auteur
Résumé
Replication studies in psychological science sometimes fail to reproduce prior findings. If these studies use methods that are unfaithful to the original study or ineffective in eliciting the phenomenon of interest, then a failure to replicate may be a failure of the protocol rather than a challenge to the original finding. Formal pre-data-collection peer review by experts may address shortcomings and increase replicability rates. We selected 10 replication studies from the Reproducibility Project: Psychology (RP:P; Open Science Collaboration, 2015) for which the original authors had expressed concerns about the replication designs before data collection; only one of these studies had yielded a statistically significant effect ( p < .05). Commenters suggested that lack of adherence to expert review and low-powered tests were the reasons that most of these RP:P studies failed to replicate the original effects. We revised the replication protocols and received formal peer review prior to conducting new replication studies. We administered the RP:P and revised protocols in multiple laboratories (median number of laboratories per original study = 6.5, range = 3–9; median total sample = 1,279.5, range = 276–3,512) for high-powered tests of each original finding with both protocols. Overall, following the preregistered analysis plan, we found that the revised protocols produced effect sizes similar to those of the RP:P protocols (Δ r = .002 or .014, depending on analytic approach). The median effect size for the revised protocols ( r = .05) was similar to that of the RP:P protocols ( r = .04) and the original RP:P replications ( r = .11), and smaller than that of the original studies ( r = .37). Analysis of the cumulative evidence across the original studies and the corresponding three replication attempts provided very precise estimates of the 10 tested effects and indicated that their effect sizes (median r = .07, range = .00–.15) were 78% smaller, on average, than the original effect sizes (median r = .37, range = .19–.50).