I 2019 skrev FNs spesialrapportør for ekstrem fattigdom og menneskerettigheter, Philip Alston, at verden stod overfor en «stor fare for å snuble som zombier inn i en digital velferdsdystopi». 

Frykten var at økt digitalisering ikke brukes som et gode for borgerne, men utelukkende for å avdekke juks og svindel. 

Kan vi få en kontrollstat framfor en velferdsstat?

Selv om det gjøres med gode intensjoner, som effektivisering og å sikre riktig bruk av offentlige midler, frykter forskere at det kan føre oss i retning av en kontrollstat, fremfor en velferdsstat.

Derfor ønsker forsker Naomi Lintvedt ved Universitetet i Oslo å se på hvordan offentlige institusjoner diskuterer bruk av kunstig intelligens (KI) i sine planer og notater. 

I hvilken grad blir KI problematisert?

Mennesker er en ressursmangel, og problemet vil bli verre i fremtiden. Politikere vil løse dette med digitalisering, forklarer Lintvedt.

– Problemet er at KI er en villet politikk, men ikke styrt, sier hun.

Hun forteller om skrekkeksempler fra andre land. De viser at de svakeste blant oss rammes når KI blir brukt på feil måte. I 2024 bestemte norske politikere at 80 prosent av offentlig sektor skal bruke KI innen 2030. 

Derfor er det viktig å vite om offentlige etater tar i bruk KI uten blikk for mulige skyggesider.

Skrekkeksempel på KI-bruk i Nederland

I overkant av 35.000 mennesker ble dømt for trygdesvindel i Nederland. Det viste seg at svært mange var uskyldige. Saksbehandlingen ble gjort basert på en KI-modell.

Det tok tid før myndighetene var åpne om at KI var en del av årsaken til feilen, forklarer Lintvedt.

– Deretter tok det tid før de var åpne om modellen som var brukt. Det krever at noen klarer å se systematikken i det som har skjedd, og det kan i seg selv være krevende. Deretter kan det bety at en del regler er brutt, forklarer Lintvedt.

Da feilen ble oppdaget, var mange mennesker hardt rammet. Mennesker som levde under vanskelige forhold fra før. I tillegg var feilen vanskelig å nøste opp i.

– Dette er både teknisk og juridisk komplisert. De berørte har krav til erstatning, men det kan ta lang tid, sier hun.

Kan sammenlignes med NAV-skandalen

Lintvedt sammenlikner det med NAV-skandalen i Norge hvor en del mennesker feilaktig ble dømt for trygdesvindel.

– NAV-skandalen er et eksempel på at denne typen feil tar lang tid å rydde opp i. De ansvarlige må også finne ut om feilen er systematisk og hvor feilen har oppstått. Enkeltpersonene det har gått utover må bli ivaretatt, sier hun.

Det er ikke gitt at det er mulig å rette opp denne typen feil. En systematisk forskjellsbehandling kan være vanskelig å reversere, utdyper hun.

KI åpner for feil i stor skala

Hun forklarer at dersom feilene har ført til at for eksempel barnefamilier blir berørt, kan fattigdom ha ført til utenforskap som på sikt kan ramme utdanning og helse til barna livet ut. 

– KI åpner for å gjøre feil i stor skala hvis noen først gjør feil, og det er feil som det tar lang tid å avdekke. Det kan ha skjedd ting i datasettet eller i modellen, og slike skjevheter er vanskelige å oppdage, advarer hun.

Derfor er hun bekymret for bruk av KI i offentlig sektor.

– Samtidig blir det slik at hvis vi hele tiden skal kontrollere svarene KI har gitt, har vi jo ikke effektivisert, legger Lintvedt til.

På noen områder må vi være ekstra forsiktige

Lintvedt mener at politikere bør lage strammere rammer for hvor og hva KI kan brukes til:

– Selv om KI-systemer blir regulert gjennom EUs AI Act så er ikke det nok. Vi må være bevisste på hvordan forvaltningen tar i bruk KI. De har et særskilt ansvar for å påse at rettigheter og ytelser blir ivaretatt. Det er noen områder hvor vi må være ekstra bevisste på om KI i det hele tatt skal brukes, sier hun.

Nettopp fordi konsekvensen av å gjøre feil er så stor. 

– Da må politikerne sette grenser for det, sier Lintvedt.

Ikke lov med ansiktsgjenkjenning

Eksempler på slike situasjoner kan være saksbehandling som gjelder eldre med kognitiv svikt, barn, eller personer med dårlige språkkunnskaper, for å nevne noe.

– Et juridisk grep utover EUs AI Act er regler for bruk. AI Act regulerer hvordan AI skal lages, men vi kan sette noen rammer for hvilke situasjoner vi ikke skal bruke KI, sier hun.

Norsk lov setter allerede grenser for KI-bruk.

– Norsk politi kan ikke bruke KI til ansiktsgjenkjenning fordi det ikke er regulert i norsk lov. Skal vi tillatte ansiktsgjenkjenning på Karl Johan, så må det behandles politisk, sier Lintvedt.

Offentlig sektor er fremdeles ukritiske 

Da Lintvedt publiserte sin forskningsartikkel for noen år siden, var konklusjonen at Norge i liten grad har tatt inn over seg de potensielle negative konsekvensene av KI-bruk.

– Inntrykket mitt er at politikere i Norge er blitt mer oppmerksomme på KI, særlig med tanke på regulering. Likevel er vi ikke helt i mål. Når Tromsø kommune kan lage en rapport basert på KI som et beslutningsgrunnlag i en viktig sak, så tyder det på at det er et stykke igjen, sier forskeren.

Generativ KI har fått mye av oppmerksomheten, men det er mye annen bruk av KI som har gått under radaren, utdyper hun.

Ikke bare generativ KI som kan være problematisk

I sin forskning har hun og kollegaen sett på hvordan fagfolk i Norge omtaler KI-potensialet i saksbehandling. De gikk gjennom offentlige styringsdokumenter for å se hvordan farer og risiko ved KI var omtalt.

– Risiko ved bruk av KI er ikke mye diskutert. Det har vært store KI-skandaler i andre land i Europa. Dette viser tydelig hvilke skader feil bruk av KI kan gjøre, særlig overfor sårbare grupper, sier hun.

– Vi konkluderer ikke med at vi er nær en dystopisk digital velferdsstat. Men det er nødvendig med større bevissthet og en tydelig retning for å unngå potensielt negative virkninger av KI, sier hun.

Samtidig understreker hun at forskningen hennes allerede er tre år gammel. Det har skjedd mye i etterkant av hennes publikasjon. Blant annet ved at generativ KI har blitt allment tilgjengelig.

Nye regler trer i kraft i 2026 og i 2027 

Først kommer EUs AI Act som fra februar i år forbyr visse typer KI-systemer. Fra høsten 2026 trer den fullt i kraft i EU med regler for høyrisiko KI-systemer. 

I høst har det vært høring av en norsk KI-lov som skal gjøre AI Act til norsk lov. Planen er at dette skal skje samtidig som AI Act begynner å gjelde fullt ut i EU. 

Deretter vil det komme en ny lov i Norge som trer i kraft i 2027. Ifølge Lintvedt vil ikke denne loven regulere KI særskilt, men den ivaretar rettssikkerheten ved at de samme reglene gjelder for KI som for all annen saksbehandling.

– Det er noen områder hvor vi må tørre å si at dette er så sårbart at vi ikke kan gjøre feil. Noen former for KI er høyrisiko. Vi har ikke sett noen store saker i feil saksbehandling med KI ennå. Vi bør dra noe lærdom av hendelser i andre land, sier Lintvedt.

Derfor rammes ressurssvake hardere

Lintvedt forklarer hvorfor de svakeste er mest utsatte for KI-feil:

– Hvis vi for eksempel skal lage risikomodeller som skal avdekke juks og svindel, så kan ofte lav økonomi være en variabel som tas inn i modellen. Dermed blir mange som er økonomisk dårlig stilt automatisk med i den gruppen, forklarer hun.

Selv om det er bred enighet om at KI ikke skal fatte beslutninger, så kan bruk av KI likevel gi skjevheter.

– Det som bygges inn i KI-modellene, er historiske data. Da kan vi få et skjevhetsproblem. Det kan være like mye juks i alle deler av befolkningen. Om ikke forvaltningen håndterer skjevhetene blir det urettferdig, sier forskeren.

Dersom en del av befolkningen for eksempel kontrolleres oftere, vil de som kontrollerer også finne juks oftere. 

Det blir en negativ spiral

– Hvis du bruker disse dataene vil den gruppen som kontrolleres oftest også felles oftest. Det er en negativ spiral, sier Lintvedt.

Dersom feilen først har skjedd, vil de mest ressurssvake slite med å ta opp kampen:

– Hvis de blir utsatt for feil behandling har de også dårligere tilgang til ressurser og kompetanse. Blant annet om sine egne rettigheter. De har større problemer med å imøtekomme beslutninger fra myndighetene. Dette gjelder uavhengig av KI. Det så vi også under NAV-skandalen. Problemet rammet et bestemt segment av befolkningen, sier hun.

Selv har hun erfaring fra Skatteetaten. Der ser hun det samme:

– Ressurssterke grupper utfordrer oss mye mer, sier hun.

KI kan effektivisere enkelte oppgaver

Politikerne har bestemt at 80 prosent av offentlig sektor skal bruke KI innen 2030. Målet er effektivisering, men er det så enkelt?

Det avhenger av oppgaver og data, mener Lintvedt.

– Jo viktigere, eller mer inngripende, et tiltak er, desto vanskeligere er det å bare komme med et vilkårlig vedtak, sier hun. 

Saker som er objektive tall, eller som er ren sortering, kan være et sted å effektivisere, foreslår hun.

– Men vi må vite mer konkret hva vi ønsker å effektivisere, sier forskeren.

Lånekassa bruker KI

Hun følger opp med et eksempel fra Lånekassen. Ifølge reglene kan ikke studenter som bor hjemme få borteboerstipend. Tidligere var kontrollen gjort som et tilfeldig uttrekk på 40.000 personer. De som ble trukket ut måtte da sende en bekreftelse på at de ikke bor hjemme.

– Basert på målinger er det nå laget en modell som plukker ut kanskje 10.000 personer. Den har en høyere treffprosent på personer som bor hjemme. Det er en effektivisering ved at 30.000 personer får en mindre byrde. 

Hun understreker at det likevel er krevende å sørge for at ikke modellen begynner å skjevfordele uttrekket.

– Modellen peker ikke ut hvem som jukser, den sørger bare for et mer effektivt uttrekk for personer vi skal sjekke, sier hun.

Hun forklarer at denne typen bruk av KI er den vanligste i forvaltningen foreløpig.

Hva som blir normen om få år, gjenstår å se.

Referanser:

Mona Naomi Lintvedt og Heather Broomfield: Snubler Norge inn i en algoritmisk velferdsdystopi?. Tidsskrift for velferdsforskning, 2022. Doi.org/10.18261/tfv.25.3.

Philip Alston: Report of the Special Rapporteur on extreme poverty and human rights. UN General Assembly A/74/493, 2019.

Dutch News: https://www.dutchnews.nl/2024/01/over-33000-families-acknowledged-as-benefit-scandal-victims/ publisert 22. januar 2024

Artikkelen er produsert og finansiert av Universitetet i Oslo

Universitetet i Oslo er én av over 80 eiere av forskning.no. Deres kommunikasjonsansatte leverer innhold til forskning.no. Vi merker dette innholdet for å tydelig skille formidling fra uavhengig redaksjonelt stoff.
Her kan du lese mer om ordningen.

Les også disse sakene fra Universitetet i Oslo:

• 

  Skipsloggbøker har formet vår forståelse av havet

• 

  En ny mikrobrikke kan revolusjonere måten vi tester nye legemidler

• 

  Etter 15 generasjoner ser forskere fremdeles effekt av miljøgifter

• 

  Nei, havstrømmen som bringer varmere vann opp langs norskekysten vil ikke stanse og gi oss kuldesjokk eller en ny istid

• 

  Kan vi få amerikanske tilstander ved norske universiteter?

• 

  Halve kloden dekkes av snø – likevel vet vi nesten ingenting om den

Les flere saker laget av Universitetet i Oslo her.

forskning.no vil gjerne høre fra deg!

Har du en tilbakemelding, spørsmål, ros eller kritikk? TA KONTAKT HER