Nylig gikk nobelprisvinner i kjemi, Randy Schekman, i verbal nærkamp med prestisjetunge vitenskapelige tidsskrifter som Science og Nature.

Disse tidsskriftene bygger sin status på høy impaktfaktor, det vil si at artikler i disse tidsskriftene ofte blir referert til av andre forskere.

Schekman mente utgivere av tidsskriftene best kan sammenlignes med designere av luksusvesker som bruker begrenset opplag av hensyn til prestisje.

Hele karrierer kan bli bygd på noen få artikler i toppjournaler, og forskningsmidler og ære følger også med.

Allerede for femten år siden påpekte professor Per O. Seglen ved Universitetet i Oslo at tidsskrifters impaktfaktor ikke er en brukbar målestokk på forskning.

Sviktende statistikk

I en mye lest artikkel i British Medical Journal pekte Seglen på en rekke argumenter for å se på innholdet i forskningsartiklene i stedet for å legge vekt på hvor de er publisert.

Seglen sier til forskning.no at han er enig i mye av kritikken fra Schekman.

Å dømme en vitenskapelig artikkel etter hvilket tidsskrift den er publisert i er ifølge Seglen basert på sviktende statistikk.

• Les også: Nobelprisvinner refser topp-tidsskrifter

Blant annet er det derfor uheldig om forskningsmidlene blir fordelt etter hvor søkernes forskning tidligere har vært publisert.

- Det er som å gi idrettstipend til noen som er medlem i idrettsklubben Vidar fordi Grete Waitz var med der, sier han.

Det er også mange andre grunner til at impaktfaktor ikke er noe godt mål for enkeltartiklers kvalitet (se faktaboks).

Forskersamfunnet

Samtidig mener Seglen at det er forskersamfunnet og byråkratene, ikke tidsskriftene, som bør kritiseres.

- Tidsskriftene er ofte kommersielle foretak, og bruker de argumentene de kan få tak i for å selge. Det er forskersamfunnet selv som må ta ansvar for å få slutt på den irrasjonelle og destruktive bruken av tidsskrift-status i forskningsevaluering, sier han.

Seglen peker på at tidsskriftene selv ikke en gang står for utarbeidelsen av impaktfaktor eller siteringsindeks.

Derfor kan nobelprisvinner Schekmans kritikk bli som å skyte på pianisten.

Seglens skyteskive er heller forskere og byråkrater som gjør det enkelt for seg selv ved å se på hvor forskningen er publisert i stedet for å se på innholdet.

Byråkrater

- Jeg har aldri forstått motviljen mot å lese en artikkel og faktisk vurdere hva som står i den, sier Seglen til forskning.no.

Når forskningen skal telles, og pengene fordeles, er imidlertid impaktfaktor en fristende metode å bruke.

- Byråkrater vil heller ha en ubrukelig målemetode enn ingen metode i det hele tatt, sier Seglen.

- Tilhengere av kvantitative mål sier gjerne at dette bare er et tillegg til kvalitetsmål, og at man alltid også legger vekt på kvalitet?

- Ja det sier de alltid, sier professoren, lettere oppgitt.

Han føler at debatter om temaet ofte ender med at impaktfaktor ikke kan brukes, men at praksis fortsetter som før.

Enkel metode

Det er forskerne selv som befolker ansettelseskomiteer på universitetene og bevilgende organer i Norges forskningsråd.

• Les også: Er tidsskriftenes tid forbi?

Seglen, som er forsker innen cellebiologi, sier at hans egen erfaring fra komiteer i Forskningsråder er at kollegaer la svært stor vekt på hvor søkerne hadde publisert. Få leste artiklene og ga en uavhengig vurdering.

Metoden er lettvint, og man slipper dessuten å avsløre seg selv som mindre av en ekspert enn det man egentlig er.

Seglen er ikke motstander av å utvikle andre metoder enn impaktfaktor som kan brukes til å sammenligne forskning. Det kan la seg gjøre, mener han, å lage systemer som vurderer kvalitet på for eksempel metodebruk og datainnsamling.

Internasjonalt initiativ

Seglen viser til et internasjonalt opprop fra i 2013 mot bruken av impaktfaktor i forbindelse med vurdering av vitenskapelig kvalitet, San Francisco-erklæringen. Erklæringen kan leses her.

San Francisco-erklæringen anbefaler at forskning må vurderes på sine egne premisser, og at impaktfaktor ikke skal brukes til å fordele penger eller ansette forskere.

Hittil har mer enn 10 000 redaktører, utgivere og forskere fra hele verden skrevet under.

Det samme har en lang rekke organisasjoner, blant dem American Association for the Advancment of Science (AAAS), British Society for Cell Biology og European Sociological Association.

Mange setter sin lit den nye publiseringsformen Open Access som en måte å nøytralisere den overdrevne troen på de prestisjetunge tidsskriftene. Slike tidsskrifter kan publisere svært mye og operere uten impaktfaktor overhodet.

Seglen sier at det kan være en indirekte måte å unngå problemet på. Det enkleste vil etter hans mening imidlertid være å følge rådene i San Francisco-erklæringen og rett og slett kutte ut impaktfaktor som målestokk.

Referanse:
Per O. Seglen: “Why the impact factor of journals should not be used for evaluating research,” British Medical Journal, 15. februar 1997.

Per O. Seglen: ”Er tidsskrift-renommé og artikkeltelling adekvate mål for vitenskapelig kvalitet og kvantitet?” i Øyvind Østerud (red.): Hvordan måle vitenskap. Søkelys på bibliometriske metoder. Novus forlag/Det Norske Videnskaps-Akademi, Oslo 2009. Hele rapporten kan leses her.