I 2024 dukket det opp to studier på en preprint-server som omtalte et nytt hudfenomen: En tilstand med sterk rosa farge rundt øynene, mistenkt å skyldes blått lys fra overdreven skjermbruk.
En preprint-server brukes vanligvis av forskere som et sted der de kan laste opp forskningsartiklene sine før de har blitt fagfellevurdert og publisert i et tidsskrift.
Sykdommen ble kalt bixonimania, men det hele var bare oppspinn. Det skriver tidsskriftet Nature sin nyhetsredaksjon.
Almira Osmanovic Thunström jobber i forsknings- og utviklingsorganisasjonen Chalmers Industriteknik i Sverige.
Hun ville vise hvordan desinformasjon kan lekke over i KI-verktøy.
Noen uker etter Thunström publiserte den falske informasjonen, begynte KI-chatboter å omtale bixonimania som et ekte fenomen.
Det dukket også opp referanser til artiklene i enkelte studier. Thunström sier det tyder på at noen forskere bruker KI til å lage referanseliste uten å lese artiklene.
University of Fellowship of the Ring
Først ble to blogginnlegg om bixonimania lagt ut på nettstedet Medium i mars 2024.
Ved første øyekast ser de ut som vanlige vitenskapelige artikler. Men Thunström har lagt inn mange hint om at det er tull.
Forfatterne: Lazljiv Izgubljenovic, Betsy Thurberg og Andi Deep er ikke ekte personer.
Lazljiv Izgubljenovic betyr noe slikt som «den løgnaktige taperen» på slovensk, skriver Thunström i et innlegg på sin Linkedin-profil.
Universitetet han jobber ved, Asteria Horizon University, finnes ikke. De oppgitte finansieringskildene er også tvilsomme:
Professor Sideshow Bob Foundation for dens arbeid innen avansert lureri, samt University of Fellowship of the Ring.
Et KI-generert bilde av bixonimania fra en av artiklene.(Bilde: Skjermdump)
Flere hint
Thunström sier til Nature at hun valgte ordet bixonimania fordi det «hørtes latterlig ut».
– Jeg ønsket å være helt tydelig overfor alle leger og annet helsepersonell om at dette er en fiktiv tilstand, fordi ingen øyelidelse ville blitt kalt «mani» – det er et psykiatrisk begrep.
Annonse
Enkelte steder står det rett ut:
«Femti oppdiktede individer i alderen mellom 20 og 50 år (...)»
«Dette er selvsagt en imponerende bragd, ettersom hele denne artikkelen er oppdiktet.»
«De veldig oppdiktede deltakerne ble instruert om å holde lyskilden på.»
Chatboter omfavnet begrepet
Kort tid etter Thunström la ut den falske informasjonen, begynte populære chatboter å omtale bixonimania som om det var ekte.
Copilot, Gemini og ChatGPT informerte brukere om tilstanden.
Chatbotene har blitt bedre siden 2024. Men flere var fremdeles ikke helt avvisende da Nature testet i mars 2026.
Copilot skrev at bixonimania «ikke er en allment anerkjent medisinsk diagnose ennå, men flere nye forskningsartikler og case-rapporter omtaler det som en godartet, feildiagnostisert tilstand knyttet til langvarig eksponering for blå lyskilder som skjermer».
ChatGPT sa først at tilstanden sannsynligvis er oppdiktet eller pseudovitenskapelig.
Noen dager senere skrev chatboten likevel at bixonimania «er en foreslått ny undergruppe av periorbital melanose (mørke ringer rundt øynene), antatt å være knyttet til eksponering for blått lys fra digitale skjermer.»
Almira Osmanovic Thunström la ut skjermdumpene under på sin Linkedin-profil 8. april med teksten: «Modellene per i dag. Forhåpentligvis vil de snart korrigere kursen».
Annonse
Almira Osmanovic Thunström har lagt ut disse to skjermdumpene på sin Linkedin-profil.(Bilder: Skjermdump)
– Modellene som ligger til grunn for dagens versjon av ChatGPT, er betydelig bedre til å gi trygg og korrekt medisinsk informasjon, og studier gjennomført før GPT-5 gjenspeiler evner som brukere ikke vil møte i dag.
En talsperson for Google sier at de alltid har vært åpne om begrensningene ved generativ KI og gir brukerne påminnelser i appen om å dobbeltsjekke informasjon.
– For sensitive spørsmål, som medisinske råd, anbefaler Gemini at brukerne rådfører seg med kvalifiserte fagpersoner.
– Finnes allerede en hel bransje rundt dette
Michael Riegler er sjefsforsker ved avdelingen for KI-sikkerhet ved Simula.
Han skriver på e-post til forskning.no at eksperimentet er veldig relevant, «og egentlig mer urovekkende enn det ser ut som ved første øyekast».
– Artiklene sa rett ut at de var oppdiktet, takket Starfleet Academy og var finansiert av Fellowship of the Ring. Når språkmodellene ikke klarer å fange opp noe så åpenbart, har de ingen sjanse mot noen som faktisk prøver å lure dem.
Riegler synes det er bra at det var forbrukerprodukter som ble testet.
– Det folk kanskje ikke er klar over, er at det allerede finnes en hel bransje rundt dette.
Det kalles GEO, generative engine optimization, altså å optimalisere innhold slik at det blir plukket opp og sitert av KI-modeller som ChatGPT, Gemini og Perplexity.
– Bixonimania-eksperimentet viser i praksis hva som skjer når noen bruker de samme teknikkene, ikke for å selge et produkt, men for å spre feilinformasjon. Det er overraskende enkelt.
– Språkmodeller har en tendens til å hoppe på informasjon om temaer der det finnes lite fra før. Legger du ut to-tre kilder som ser troverdige ut, behandler modellen det som fakta.
– Hva tenker du om etikken ved å bevisst legge ut desinformasjon, slik forskeren har gjort her?
– Jeg synes det er et legitimt grep, selv om det er ubehagelig, sier Riegler.
Annonse
– Forskeren valgte bevisst en latterlig og ufarlig tilstand, konsulterte en etikkrådgiver, og la inn så mange røde flagg at enhver som faktisk leste artiklene ville sett at det var tull.
Det ligner litt på sikkerhetsforskning, påpeker Riegler. Du viser at en sårbarhet finnes, men prøver å minimere skaden.
– Alternativet er verre tenker jeg. Om ingen demonstrerer sårbarhetene, forblir de usynlige mens ondsinnede aktører utnytter dem i stillhet.
Samtidig skal man ikke late som det var helt uten konsekvenser, sier Riegler.
– Artiklene ble faktisk sitert i en fagfellevurdert studie som måtte trekkes tilbake, og i en periode fikk vanlige brukere falsk medisinsk informasjon fra chatbotene. Det er et reelt etisk dilemma.
– Men for meg veier innsikten tyngre enn kostnaden, nettopp fordi det synliggjorde et problem som ellers ville forblitt abstrakt.
Skjer i praksis
Noe som gjør eksperimentet ekstra relevant er at dette allerede skjer i praksis, bare i langt større skala og uten røde flagg, sier Riegler.
– Det russiske nettverket Pravda publiserte over 3,6 millioner artikler, ikke primært for å nå menneskelige lesere, men for å mate vestlige språkmodeller med prorussiske narrativer, sier Riegler og viser til en artikkel i The Guardian.
Ifølge en rapport fra NewsGuard fra 2025, gjentok chatboter falske påstander spredd av nettverket i rundt en tredjedel av tilfellene.
– Det er i praksis GEO brukt som våpen, man optimaliserer ikke for google-rangeringer, men for å forme hva KI-modeller sier til millioner av brukere.
