Du har kanskje opplevd det selv. Noen ganger gir en av de store KI-modellene deg svar som tilsynelatende virker riktig.
Det kan framstå som et svar fullt av selvtillit, men så viser det seg å være fullstendig oppdiktet.
Et kjent eksempel er en rapport fra Tromsø kommune, hvor ChatGPT ble bedt om å finne faglige kilder til kunnskap rundt skolenedleggelser. Språkmodellen fant på en hel rekke kilder, ifølge NRK.
Dette er et grunnleggende problem i språkmodellene og hallusinasjonene fortsetter å være et problem selv i de mest avanserte modellene, ifølge en artikkel skrevet av flere forskere ved OpenAI som lager den mest kjente språkmodellen ChatGPT.
Artikkelen ligger ute hos preprint-arkivet Arxiv, men den er ikke fagfellevurdert i et tidsskrift.
Men artikkelen har skapt debatt i fagmiljøet om hvordan usikkerhet i språkmodellene kan håndteres, sier Erik Velldal til forskning.no.
Han er professor ved institutt for informatikk ved UiO.
En annen forsker mener at OpenAIs løsning vil fullstendig bryte ned folks forhold til disse KI-modellene. Mer om dette senere.
For hvordan oppstår egentlig disse hallusinasjonene? Og hva skal modellene gjøre når de ikke har noe godt svar på et spørsmål?
Erik Velldal, professor i informatikk.(foto: UiO)
– Det kan gå galt
Såkalte hallusinasjoner er en helt vanlig del av hvordan språkmodeller fungerer, sier Velldal til forskning.no.
– Modellene er sannsynlighetsdistribusjoner over sekvenser av ord og ikke databaser over fakta om verden.
Det betyr at setningene som kommer ut av for eksempel ChatGPT, er massevis av sannsynlighetsberegninger. Når du får et svar, er det svaret satt sammen av de mest sannsynlige ordene, som følger de mest sannsynlige ordene og så videre.
Da kan det bære galt av sted noen ganger også.
– Det kan gå galt, spesielt om ting som i liten grad er representert i treningsdataene deres.
Da kan modellene begynne å fylle inn svar som er sannsynlige, men som ikke er riktige. For eksempel fiktive studier.
– Den kan finne på noe som høres sannsynlig ut. Så finner den på både titler og referanser som virker ekte. Kanskje den til og med bruker navn på ekte forskere som forfattere.
I artikkelen skriver forskerne om hvordan treningen av modellene også belønner gjetting, men ikke usikkerhet.
Annonse
Multiple choice
Når KI-modellene trenes opp, brukes forskjellige typer tester for å evaluere hvor gode de er. Det kan også være multiple choice-type tester hvor modellene får klart definerte svaralternativer den må velge mellom.
Dette kan sammenlignes med mennesker som tar slike tester, skriver forskerne i artikkelen. Det er bedre å gjette fordi da kan det i alle fall bli rett.
– Problemet er at modellen ikke premieres for å anerkjenne at det er noe den ikke vet og da heller bare gjetter, sier Velldal til forskning.no.
– De argumenterer for å innføre et «jeg vet ikke»-alternativ.
Da kan modellene trenes opp til å innrømme usikkerhet istedenfor å finne på noe. Velldal tror at dette kan føre til færre hallusinasjoner, hvis det kommer mer av dette inn i selve evalueringen av modellene mens de trenes opp.
Velldal trekker fram at dette bare er en måte å trene modellene på, og at det kanskje ikke alltid er overførbart til en lengre tekst som modellen skriver.
– Folk ber modellene om å oppsummere kunnskap innenfor et eller annet felt, og for eksempel skrive et essay om et eller annet tema.
– Da er det langt vanskeligere å se akkurat hvordan man kan overføre det forslaget de har her, mener Velldal.
Modellene sliter altså fortsatt med hallusinering. Et helt ferskt eksempel kommer fra NRK, som lot språkmodeller svare på spørsmål om nyheter på sine og mange andre allmennkringkasteres nettsider.
Resultatet var betydningsfulle feil i 45 prosent av svarene, blant annet oppdiktede nyhetsartikler med fiktive lenker, ifølge NRK.
Velldal mener likevel at det har blitt bedre i løpet av det siste året.
Annonse
– Det er mer på grunn av at man i større grad bruker språkmodeller i kombinasjon med søk på internett og bruk av eksterne verktøy.
– Det fører til en bedre forankring av teksten man får ut.
Men bør modellene bli flinkere til å kommunisere usikkerhet?
Basert på tallene som presenteres i artikkelen, argumenterer han for at dette kan føre til at en stor språkmodell vil starte svarene sine med jeg vet ikke i rundt en tredjedel av tilfellene.
– Brukere som er vant til å få svar med stor sikkerhet, vil sannsynligvis fort forlate systemet, mener han.
Det er ikke Velldal helt enig i.
– Man vil jo gjerne ha klare svar, men ikke hvis de er gale.
– Da ønsker jeg å få beskjed om at dette vet jeg ikke. Samtidig må den ikke bli for konservativ.
Velldal peker på at en modell som for ofte svarer «dette kan jeg ikke hjelpe deg med» fordi den er redd for å si noe feil, blir en lite nyttig modell.
