Om to-tredeler av psykiske funn holder seg i toppjournaler

Et team av forskere som prøvde å gjenta 21 eksperimentelle psykologifunn som ble publisert i de anerkjente tidsskriftene Vitenskap og Natur var i stand til gjenskape 13 av dem.

Psykologien har stått for en bevegelse for å gjenkjenne og reformere problematiske praksiser som fører til upålitelige resultater. Innsikt fra selv de mest anerkjente tidsskrifter er ikke immun mot disse hindringene, viser viktigheten av å fortsette å implementere politikk som gjør nye vitenskapelige funn mer pålitelige.

”Vi vil alle strebe etter det motintuitive, overraskende resultatet. Det er ikke en dårlig ting i vitenskapen, fordi det er slik vitenskapen bryter grensene, ”sa Brian Nosek, studiens hovedforfatter og professor i psykologi ved University of Virginia. "Nøkkelen er å gjenkjenne og omfavne usikkerheten rundt det, og det er OK hvis noen viser seg å være gale." Hva den siste testen viser, forklarte han på en nettkonferanse sist uke, “er at vi kan bli mye mer effektive til å identifisere falske kundeemner i stedet for å få dem til å holde ut fordi vi aldri gidder å gjenskape dem i den første plass."

Et internasjonalt team av forskere vurderte alle samfunnsvitenskapelige artikler som ble publisert i Vitenskap og Natur mellom 2010 og 2015. De planla å gjenskape et undersett av studier som inkluderte en eksperimentell intervensjon, genererte et betydelig resultat og ble utført på en gruppe deltakere.

Teamet gjenskapt den eksperimentelle designen så nært som mulig og jobbet med de opprinnelige forfatterne for å gjøre det. De registrerte også studieprotokoll, design og analyse på Open Science Framework, et system designet for å øke påliteligheten og åpenheten i vitenskapen. De gjennomførte hver studie med fem ganger flere mennesker enn originalen, slik at undersøkelsen ville være spesielt følsom for å oppdage eventuell eksperimentell effekt.

Teamet repliserte vellykket 13 av studiefunnene, eller 62 prosent. De resterende åtte studiene klarte ikke å replikere. Tidligere replikeringstiltak har gitt en rekke resultater, og teamet anslår at psykologiens rate er reproduserbarhet ligger for tiden mellom 35 og 75 prosent. Forskerne oppdaget også at styrken til de eksperimentelle effektene var omtrent halvparten av hva de var i de originale studiene. Resultatene ble publisert i dag i tidsskriftet Naturens menneskelige oppførsel.

Mange brikker har bidratt til replikasjonsproblemene. Forskere har vanligvis fleksibilitet i hvordan de analyserer eksperimentelle data, og ved å prøve forskjellige tilnærminger, kan de bevisst eller ubevisst pushe funnene mot terskelen for statistisk betydning. Forskere kan også endre en hypotese etter å ha sett resultatene, som har effekten av å veve uansett viktige resultater de fant i en overbevisende fortelling. De er ikke pålagt å gjøre dataene tilgjengelige, noe som kan føre til at tvilsom oppførsel ikke sjekkes. Kanskje viktigst av alt er at forskere og tidsskriftredaktører incentiveres til å publisere så mange nye, prangende funn som mulig - i stedet for å gjenskape tidligere funn for å sikre pålitelighet.

Disse elementene fører til at nye resultater og sterke effekter rapporteres til en misvisende høy hastighet. Dette illustreres av at gjennomsnittsstørrelsen på effektene var halvparten så stor i de repliserte studiene enn den opprinnelig var. "Dette er et veldig konsistent tema i replikering," sa Sanjay Srivastava, professor i psykologi ved University of Oregon, som ikke var involvert i forskningen. “Hvis studier noen ganger overskrider og noen ganger underskrider, bør det være 50/50. Men det er slett ikke tilfelle. "

Teamet utviklet også et eksperiment for å se om psykologer kunne oppdage solide, strenge resultater. En gruppe på 200 forskere satset på hvilke studier som ville eller ikke ville holde opp til gransking. Sannsynligheten for at en studie skulle gjenskape riktig spådde resultatet for 18 av de 21 studiene.

"Som samfunn snubler vi ikke helt rundt i mørket når det gjelder hva som kommer til å gjenskape," Vil Gervais, sa en førsteamanuensis i psykologi ved University of Kentucky, på nettkonferansen. “Du kan potensielt trene fagfellevurderere til å se etter mønstrene folk plukker opp. På den måten kan vi forhåpentligvis luke ut noen av disse falske positive før de forurenser litteraturen. ”

Gervais forfatter en av studiene som ikke klarte å gjenskape. De papir ble publisert i Vitenskap i 2012, og det viste at analytisk tenking undertrykte tro i religion. På det tidspunktet hadde bekymringene for å styrke troverdigheten ennå ikke gjennomsyret feltet. Nå erkjenner han at eksperimentet var ganske svakt og ikke holdt like bra som andre ideer gjennom hele hans karriere.

”I ettertid var studien vår helt tullete. Det var et veldig lite [antall deltakere] og bare knapt betydningsfulle - slags par for kurset før vi begynte å ta replikerbarhet på alvor, ”sa Gervais. "Noe av det beste som kommer ut av hele replikerbarhetsbevegelsen, er at det er nydende anmeldere og redaktører å være mer kunnskapsrike med hva vi skal publisere og støtte oss til å begynne med."

Feltet har kommet langt i retning av å styrke troverdigheten til ny forskning. Løsningene inkluderer å teste eksperimenter på større antall mennesker, skape en strengere terskel for statistisk betydning, gjøre data offentlig tilgjengelige, fortsette replikasjonsinnsats, og offentlig forhåndsregistrering av planen for en studie før den gjennomføres, noe som begrenser typen forskerens fleksibilitet som fører til falske positiver. Open Science Framework ble opprettet i 2012 og inkluderer nå registreringer av mer enn 20 000 studier, ifølge Nosek, som er administrerende direktør i Senter for åpen vitenskap. Satsen er doblet hvert år siden den ble opprettet.

“Denne studien er veldig bra motivasjon å fortsette å trykke på tidsskrifter for å oppdatere retningslinjene sine og for å endre insentiver slik at forskere vil bli belønnet for flere av disse praksisene, ”sa Srivastava. "Det er som å skyve bilen din når den er stoppet. Bilen beveger seg, men du må fortsette å skyve, ellers stopper den. "