Har forskernes politiske overbevisning noe å si for forskningsresultatene de kommer fram til?

Det var egentlig ikke det Nate Breznau og kollegaene ved universitetet i Bremen forsøkte å finne ut da de gjorde et digert eksperiment i 2022.

De ville bare vite hva som skjer hvis du lar mange forskere analysere de samme dataene for å undersøke det samme spørsmålet.

Kommer de fram til omtrent lik konklusjon?

Overhodet ikke.

Svarene i eksperimentet spriket i alle retninger. Og nå mener Breznau at han vet hvorfor.

– Dette er interessant. Men jeg kan ikke si det er veldig overraskende, sier professor Henning Finseraas ved Institutt for sosiologi og statsvitenskap ved NTNU.

Analyserte samme data – fikk forskjellig svar

I det tidligere eksperimentet hadde Breznau og en rekke kollegaer fått med hele 158 forskere, fordelt i 71 grupper.

Alle gruppene fikk tilgang til data fra ISSP – et stort program som har samlet informasjon om folks meninger om politikk og økonomi i flere land over mange år.

Så fikk forskergruppene nøyaktig samme oppgave:

De skulle teste den velkjente hypotesen om at større innvandring fører til mindre oppslutning i befolkningen om velferdspolitikk.

Det viste seg altså at gruppene fikk totalt ulike svar. Ingen av teamene kom til de samme tallene i utregningene sine, og de overordnede tolkningene spriket vilt.

Fra sterkt positivt til sterkt negativt

Noen av gruppene konkluderte med at innvandring hadde sterk positiv effekt på oppslutningen om velferdspolitikken. Andre kom til det motsatte – at innvandring hadde sterk negativ virkning. Imellom fantes alle avskygninger.

Men hvorfor ble det slik?

Breznau og kollegaene klarte ikke finne noen klar årsak. Derfor har han og forskeren George Borjas nå tatt en runde til med resultatene.

De har gjort nye analyser av deltagernes opplysninger om sin egen politiske overbevisning. Og av hvilke metoder og modeller de ulike gruppene valgte å bruke.

Sterke meninger ga sprikende resultater

I undersøkelsen fra 2022 hadde deltagerne svart på spørsmål om sin egen holdning til innvandring. De ble spesifikt spurt om de syntes at innvandringslovene burde være strengere eller mer avslappet.

Disse holdningene ble slått sammen med en rekke andre trekk hos forskerne. Men det så ikke ut til å være noen sammenheng mellom forskernes egenskaper og svarene de fikk.

Nylig bestemte imidlertid Breznau og Borjas seg for å undersøke betydningen av de politiske holdningene for seg selv. Denne gangen fant de et tydelig mønster:

Forskerne som i utgangspunktet var sterkt for innvandring, fant oftere at innvandring førte til mer positive holdninger til velferdspolitikk. Og motsatt: Forskere som var sterkt mot innvandring, fant oftere at innvandring ga mer negative holdninger.

Dette er ikke spesielt overraskende, synes Finseraas fra NTNU.

– Ikke så rart

– Vi vet fra tidligere forskning at denne typen skjevhet finnes, sier han til forskning.no.

Finseraas og hans kollegaer publiserte selv en norsk studie om dette i 2022. De fant ut at forskere ofte mente at studier som bekreftet deres eget politiske syn, var av bedre kvalitet.

– Det er kanskje ikke så rart. Forskere er mennesker som alle andre – de påvirkes av de samme psykologiske skjevhetene.

Dette kan gjøre at forskerne utformer studiene slik at svarene passer med den politiske overbevisningen deres, ifølge Breznau og Borjas.

Designet påvirket resultatet

Forskjellen mellom gruppene i studien oppstod fordi forskerne valgte forskjellige design på analysene sine, skriver Breznau og Borjas i en artikkel i Scientific Advances.

I undersøkelser av holdninger, og mange andre typer studier, forsøker forskerne å finne mønstre i veldig kompliserte data. Det er for eksempel mye som kan påvirke folks holdninger til velferdspolitikk.

For å skille ut betydningen av én slik faktor, må forskerne bruke statistiske modeller. Men det finnes mange ulike modeller og mange faktorer de kan velge å ta med eller utelukke i hver modell.

I praksis går det an å gjøre undersøkelsen på hundrevis av ulike måter.

Det viste seg faktisk at ingen av gruppene i eksperimentet hadde gjort de samme hovedvalgene i sine dataanalyser.

Ideologi påvirket valgene

Breznau og Borjas konkluderer med at det ikke var tilfeldig hvem som valgte hvilke metoder. 

En kombinasjon av fem valg forklarte størsteparten av forskjellen i resultatene, skriver de to.

Ulike forskere valgte forskjellige spesifikasjoner, og dette valget var påvirket av ideologi, skriver de.

Det kan se ut som om den sterke overbevisningen førte til dårligere valg av statistiske metoder. I studien ble gruppenes valg vurdert av andre forskere, som var blindet for hvem som stod bak. De skulle evaluere kvaliteten på modellene som var brukt.

Det viste seg at gruppene med sterke pro- eller anti-holdninger til innvandring fikk lavere skår for sine valg, sammenlignet med de mer moderate.

Prøver ofte ulike design

Finseraas tror ikke nødvendigvis at forskerne valgte modeller de trodde skulle gi visse resultater. Det er ofte ikke slik at man bestemmer seg for ett design på forhånd og så bare kjører igjennom, forteller han.

– Det er mer sannsynlig at de har prøvd ut forskjellige kombinasjoner og så bevisst eller ubevisst overbevist seg selv om at det beste er det som samsvarer med hva de mener.

En annen sak er at det kan være fristende å velge et design som gir et pent resultat. Dette trenger ikke handle om politisk overbevisning, men om å få resultater som er lette å presentere.

– Man vil gjerne ha resultater som henger sammen, slik at det kommer et narrativ og en fortelling ut av det.

– Viktig med kritisk blikk

Hva gjør denne typen avsløringer med forskningens troverdighet?

– Jeg tror vi overordnet kan stole på forskningen, sier Finseraas.

– Men det er viktig å ha et kritisk blikk på analysene og se dem i sammenheng med andre studier på samme felt. Hvis de viser ulike resultater, må man spørre hvorfor.

Det er fare for at skjevheter sniker seg inn, særlig i veldig politiserte temaer, tror Finseraas. Han mener samtidig at lignende skjevheter kan påvirke mange typer studier. Forskernes egne meninger og forutinntatthet kan ha en innvirkning.

Professoren mener det er mulig å motvirke dette. Et nyttig verktøy er preregistrering, hvor forskerne på forhånd melder hva de har tenkt å gjøre. Dette kan hindre at de justerer metodene for å få penere resultater.

– Må bygge kultur for kritiske spørsmål

– I tillegg må vi skape en bevissthet om at vitenskapen skal være sannhetssøkende, sier Finseraas.

– Det er viktig at forskningsmiljøene bygger en kultur for å stille kritiske og upopulære spørsmål til egne og andres analyser.

Selv til Breznau og Borjas’ resultater, som viser hvordan politiske holdninger kan påvirke.

– Denne studien har de samme sårbarhetene som forskningen den undersøker. Breznau har jo også gjort valg av design som man kan diskutere.

– Det er litt ironisk.

Kilder:

G. J. Borjas & N. Breznau, Ideological bias in the production of research findings, Science Advances, januar 2026. Sammendrag. 

N. Breznau, m. fl., Observing many researchers using the same data and hypothesis reveals a hidden universe of uncertainty, PNAS, oktober 2022. Sammendrag. 

H. Finseraas, A. H. Midtbøen, K. Thorbjørnsrud, Ideological biases in research evaluations? The case of research on majority–minority relations, Scandinavian Political Studies, mai 2022. Sammendrag. 

LES OGSÅ

Studier med 12.000 pasienter ble ikke publisert: Ingen sjekker om forskerne gjør jobben sin

Studien skulle være anonymisert – Kristopher kjente seg selv igjen

Opptatt av hva som
skjer i samfunnet?

Utdanning, familie, økonomi, politikk og ledelse er bare noe av det du blir oppdatert på i nyhetsbrev fra forskning.no.

Meld meg på