Denne artikkelen er produsert og finansiert av NMBU - Norges miljø- og biovitenskapelige universitet - les mer.
Avsløring: Forskere bruker programvare feil
Feil i beregninger kan ha påvirket over hundre studier. – Når man får nesten like resultater for veldig ulike materialer, burde varsellampene blinke.
– Jeg har sett den samme feilen i over hundre artikler bare i 2025, sier forsker Øven Andreas Grimenes.
(Foto: Johanne Høie Kolås)
Det blir stadig vanligere å bruke avanserte dataverktøy i forskning. En ny studie fra NMBU viser hvordan en brukerfeil kan gi misvisende resultater som er vanskelige å oppdage.
Feilen ble avdekket da forsker Øven Andreas Grimenes ved NMBU stusset over et resultat i en vitenskapelig artikkel.
– Hvis resultatene stemte, ville forskerne ha funnet et materiale med nesten umulige egenskaper, sier Grimenes.
Da han undersøkte resultatet nærmere, skjønte han at det måtte være en brukerfeil. Deretter gjenkjente han den samme feilen i mange vitenskapelige artikler.
– Jeg har sett den samme feilen i over hundre artikler bare i 2025, sier han.
Ikke feil i programvaren
Programvaren heter BoltzTrap. Den brukes blant annet til å undersøke hvor godt ulike materialer kan omdanne varme til elektrisitet. Det er ikke programvaren det er noe galt med, men hvordan den brukes.
I en vitenskapelig studie peker Grimenes på to vanlige brukerfeil.
– Noen brukere gjør én av feilene, men det vanligste er faktisk at de gjør begge feilene samtidig, sier Grimenes.
Om begge feilene gjøres samtidig, kan svært ulike materialer fremstå omtrent like gode.
I studien viser Grimenes at brukerfeilen gir karakteristiske mønstre i resultater og grafer.
De samme mønstrene går igjen i et stort antall publiserte vitenskapelige artikler. Selv om studien ikke har kontrollert de underliggende beregningene i hver enkelt artikkel, tyder dette på at feilen kan være utbredt i forskningslitteraturen.
Resultatene ser riktige ut
Materialene Grimenes forsker på, vurderes ofte ut fra virkningstallet deres. Det er knyttet til hvor effektivt de kan gjøre varme om til strøm. Selv små forskjeller i dette tallet kan avgjøre om et materiale er interessant nok til å forske videre på.
Det er i beregningen av dette tallet mange har gjort feil. Problemet er at resultatet – virkningstallet – ligger innenfor det forskerne forventer å se. Derfor kan feilene passere både forfattere, fagfeller og lesere uten å bli oppdaget.
Samtidig finnes det tegn på at noe er galt. Regnefeilen gjør at materialene får nesten samme virkningstall.
– Når man får nesten like resultater for veldig ulike materialer, burde varsellampene blinke, sier Grimenes.
Kan få konsekvenser for videre forskning
Termoelektriske materialer brukes blant annet i romfart og kjøling av elektronikk. Dette er materialer som kan gjøre temperaturforskjeller om til strøm.
Forskere leter etter bedre materialer som kan utnytte varme mer effektivt, for eksempel ved å gjøre overskuddsvarme fra industrien om til elektrisitet. De prøver også å utvikle materialer som ikke er avhengige av giftige, sjeldne eller dyre grunnstoffer.
Det er dyrt og tidkrevende å teste nye materialer i laboratoriet. Derfor brukes verktøy for beregning til å sile ut de mest lovende kandidatene før de undersøkes nærmere.
– Misvisende resultater gjør at vi risikerer å bruke tid og penger på å undersøke materialer som i realiteten ikke er spesielt lovende, og samtidig overse bedre kandidater, sier Grimenes.
Må forstå bakgrunnen for beregningene
Ifølge Grimenes er det ikke bare omfanget som er oppsiktsvekkende.
Han ble også overrasket over at artiklene ikke bare var publisert i små eller ukjente tidsskrifter, men også i anerkjente, fagfellevurderte tidsskrifter.
– Omfanget tyder på at resultatene i mange tilfeller ikke har blitt vurdert kritisk nok før publisering, sier han.
Grimenes håper at studien hans vil bidra til å belyse hva som skjer når stadig flere bruker avanserte beregningsverktøy.
– Selv om programmene gjør avanserte beregninger automatisk, må man som forsker forstå hva som ligger bak beregningene og hva resultatene betyr, sier han.
Grimenes påpeker at programvaren studien tar for seg, er et relativt enkelt og godt dokumentert verktøy. Likevel går de samme feilene igjen. Funnene får forskeren til å spørre om lignende problemer også kan finnes i andre metoder for beregning.
– Hvis dette kan skje med en metode som er forholdsvis enkel å forstå og kontrollere, bør vi være bevisste på feil bruk av programvare også i mer avanserte simuleringsverktøy og maskinlæringsmodeller, sier Grimenes.
Referanse:
Øven A. Grimenes og Kristian Berland: Common errors in BoltzTraP-based calculations. Computational Materials Science, 2026. DOI: 10.1016/j.commatsci.2025.114380
Les også disse sakene fra NMBU:
forskning.no vil gjerne høre fra deg!
Har du en tilbakemelding, spørsmål, ros eller kritikk? TA KONTAKT HER
