Annonse
Massevis av studier kan ikke bekreftes av andre forskere
Bare halvparten av hundrevis av studier innen samfunnsvitenskap kan gjentas med samme resultat.
Er introverte bedre til å lytte enn ekstroverte? Er de fleste sjefer psykopater? Hvordan oppstår en økonomisk krise?
Ny forskning fra samfunnsvitenskapene, som dekker alt fra psykologi og sosiologi til økonomi, blir ofte overskrifter i mediene. Tilsynelatende gjør de oss klokere på oss selv og samfunnet.
Men kanskje bør vi være mer forsiktige med å tro blindt på forskningsresultatene.
En studie peker på at rundt halvparten av studiene fra de mest velrenommerte tidsskriftene innen samfunnsvitenskap ikke får samme resultat når andre forskere prøver å gjenta dem.
Det er for dårlig, sier en av forskerne bak den nye studien til den danske forskningsavisen Videnskab.dk.
– Må kunne gjenskapes
– En studie må kunne gjenskapes for at man skal kunne være sikker på resultatet. Det er en av hjørnesteinene i vitenskapen, sier Jesper Wulff, professor i økonomi ved Aarhus Universitet.
I studien har de tilfeldig valgt ut 164 studier fra de beste tidsskriftene og forsøkt å etterprøve dem for å nå samme konklusjon. Det gikk altså i halvparten av tilfellene.
– Jeg synes personlig at det er for lavt. Det kan vi gjøre bedre, sier han.
Forskere som stirrer blindt på resultatet
Jesper Wulffs bidrag til studien var blant annet å gå igjennom en tilfeldig utvalgt studie for å se om den kunne gjenskapes.
I den spesifikke studien hadde forskerne konkludert med at en direktør får høyere lønn hvis vedkommende leder en type bedrift som trenger mye penger for å komme inn i en industri, slik som legemiddelindustrien eller byggebransjen.
Wulff gikk derfor igjennom dataene fra studien og la til nye data. Men han kunne ikke gjenskape det samme resultatet som forskerne som sto bak studien.
– Den opprinnelige studien fant en tydelig positiv effekt. Vi finner at man ikke kan konkludere med det ene eller det andre, sier Wulff.
Han gjetter på at forskerne kan ha stirret seg blinde på et bestemt resultat.
– Hvis du har store nok datasett, kan du få hva som helst til å henge sammen.
– Det er for eksempel en veldig sterk sammenheng mellom hvor mye sjokolade som spises i et land og antallet nobelpriser, sier Wulff og legger til at de to tingene selvsagt ikke har noe med hverandre å gjøre.
Det kan også være en statistisk feil i den undersøkte studien, mener han. Eller så har verden rett og slett bare endret seg siden studien kom ut i 2013.
Annonse
Forskning krever mer åpenhet
I den nye studien, som er publisert i tidsskriftet Nature, har altså en hel hær av forskere testet 164 vitenskapelige artikler på samme måte som Jesper Wulff.
Som en del av studien har de også sett nærmere på totalt 274 hypoteser fra de undersøkte studiene.
Kun 55 prosent av disse hypotesene kan gjenskapes slik at de får samme konklusjon som i den opprinnelige studien.
Selv om Wulff og kollegaene kanskje selv kan ha gjort feil i forsøkene sine på å gjenskape de gamle studiene, mener han at tallene er så dårlige at det er grunn til å snakke om en krise i samfunnsvitenskapen.
– Størstedelen av den mest siterte forskningen innen samfunnsvitenskap blir aldri replikert. Det gjør fundamentet usikkert og vanskelig å bygge videre på, både i og utenfor forskningsverdenen.
Tallene fra studien vil sjokkere ganske mange forskere, mener han. Og de burde ligge til grunn for en selvransakelse i samfunnsvitenskapene:
– Hvis vi anerkjenner problemet, kan vi bruke denne anledningen til å ta grep som forhåndsregistrering og åpenhet mye mer alvorlig og bygge et mye sterkere felt enn vi har i dag.
Replikasjonsforsker: Kanskje fine tall
Thor Grünbaum forsker nettopp på replikasjon. Han mener ikke at den nye studien gir grunn til panikk.
– Kanskje er dette veldig fine tall, sier Grünbaum, som er professor i filosofi og psykologi ved Københavns Universitet, til Videnskab.dk.
Han ser heller ikke tegn på en krise i samfunnsvitenskapen.
Annonse
Ifølge professoren er det viktig å forstå at det ikke alltid er like lett å gjenskape en studies konklusjon. Dette er et poeng som også forskerne bak den nye studien selv fremhever.
Forskerne har hele 13 forskjellige måter å gjenskape studier på.
Resultatene svinger ganske mye avhengig av metoden som blir brukt. En av metodene viser at bare 29 prosent av studiene kan gjenskapes. En annen metode kommer frem til 75 prosent.
Ofte landet resultatet på at omtrent halvparten kunne gjenskapes med nokså likt resultat.
– Men de viser nettopp at det er vanskelig å måle og bestemme hvor mange studier som kan replikeres, sier Grünbaum.
Det skyldes at det ikke finnes én metode for å gjenskape studier som passer til all forskning. Det er et hav av forskjellige kriterier, og det er ikke enighet om hva som er viktigst.
Forskning stiller nye spørsmål
Hvis vi likevel tar for god fisk at rundt halvparten av studiene kan gjenskapes, kan det faktisk være et helt ok tall, mener Grünbaum.
Det skyldes at forskning som oftest undersøker ting og forhold i verden som vi ikke vet på forhånd. Studier som peker i retning av nye og spennende sammenhenger, har bedre sjanser for å bli publisert i de beste tidsskriftene.
Det er de positive svarene som er interessante å gi ut, men når det man undersøker ofte er usikkert eller helt nytt, vil noen av de positive resultatene også være feil.
– Selv om vi tester etter alle kunstens regler, får vi falske positive (et resultat som feilaktig viser noe som faktisk ikke er der, red.anm.), sier Grünbaum.
Han mener ikke at det ville vært bedre for forskningen hvis alle konklusjonene i alle studier lett kunne gjenskapes.
Annonse
For det ville tyde på at forskere undersøkte de samme teoriene igjen og igjen og ikke tok sjanser ved å undersøke noe nytt.
Derfor er det ifølge Grünbaum vanskelig å vurdere om replikasjonsratene er bekymringsfullt lave i studiet eller helt ok.
Kilde:
Investigating the replicability of the social and behavioural sciences, Nature (2026). DOI: 10.1038/s41586-025-10078-y
©Videnskab.dk. Oversatt av Trine Andreassen for forskning.no. Les originalartikkelen på videnskab.dk her.
Opptatt av hva som
skjer i samfunnet?
Utdanning, familie, økonomi, politikk og ledelse er bare noe av det du blir oppdatert på i nyhetsbrev fra forskning.no.
