Denne artikkelen er produsert og finansiert av Universitetet i Oslo - les mer.
Samarbeider KI-agenter logisk, kan de finne på å bestille en leiemorder
Forskere vil finne ut hvordan de kan temmes.
Flere klimaorganisasjoner demonstrerte mot AI utenfor kontorene til OpenAI på Manhattan i starten av Klimauken, 21. september 2026.(Foto: SGSAN / Mega / NTB)
Vi leser om at kunstig intelligens og såkalte KI-agentersinntog kan bety slutten på menneskeheten innen få år.
Men hva om forskere i stedet kan utvikle KI-agenter som ikke finner på å utslette oss i ren iver, men derimot er pålitelige, etisk reflekterte, grønne og ansvarlige?
Agenter vi kan etterprøve ned til minste detalj. Er det for godt til å være sant? Kanskje ikke.
TRUST er ett av seks nasjonale forskningssentre for kunstig intelligens. Professorene Geir Kjetil Ferkingstad Sandve og Malcolm Langford sitter begge i ledergruppen.(Foto: Jorunn Kanestrøm / UiO)
Tre kategorier av kunstig intelligens
KI-begrepet dekker tre ulike kategorier av kunstig intelligens. Agentisk KI er det store nye. De to andre er klassisk maskinlæring (ML) og språkmodeller av typen ChatGPT.
De tre teknologiene er ikke uavhengige kategorier. De bygger oppå hverandre som russiske dukker.
Klassisk maskinlæring la fundamentet for utviklingen av slike agenter, mens språkmodellene ga teknologien en avansert hjerne.
Agentisk KI er systemene som nå gir denne hjernen hender og føtter til å utføre selvstendig arbeid. Dyp læring ligger som et viktig metodisk prinsipp bak utviklingen av KI-agenter.
En KI-agent har egenskaper mange forbinder med mennesker.
En høyt fungerende KI-agent skal ta selvstendige beslutninger. Den skal utføre avanserte oppgaver med minimalt tilsyn.
Kan KI-agenter bestemme seg for å utslette oss?
Videre skal den kunne planlegge i flere steg, løse komplekse oppgaver og korrigere seg selv for å nå mål.
Ikke ulikt en alternativ James Bond med fru Justitia ved sin side.
Geir Kjetil Ferkingstad Sandve er professor ved Institutt for informatikk på Universitetet i Oslo (UiO). Han sitter i ledergruppen for det nye senteret.
– En KI-agent trenger kun et overordnet mål og så finner den veien til målet selv. Basert på ren logikk kan den derved konkludere med at det er rasjonelt å løse problemer mennesker skaper ved å bestille en leiemorder, forteller han.
Eller å utslette oss alle innen fire år. Det er dette Jacob Coxon frykter. Han jobbet tidligere som forsker i det amerikanske KI-selskapet Anthropic.
Annonse
– Norge har vært veldig sent ute med å regulere dette
I det nye senteret samarbeider 18 norske forskningsinstitusjoner og 45 brukerpartnere.
Målet er å bygge et grunnlag for kunstig intelligens som er presist, forståelig, inkluderende, rettferdig, sikkert, bærekraftig og ansvarlig forvaltet.
– At EUs KI-forordning innføres i Norge på en god måte er viktig, slår Malcolm Langford fast. Han er professor ved Institutt for offentlig rett på UiO og er nestleder ved senteret.
EU vedtok i sommer et felles regelverk for kunstig intelligens. Det skal sikre at KI-systemene som brukes i EU, skal være trygge. På norsk kalles dette KI-forordningen.
Formålet er å legge til rette for innovasjon og teknologisk utvikling. Samtidig skal grunnleggende samfunnsverdier ivaretas.
– Agentisk KI er så nytt at det faller mellom alle stolene i KI-forordningen. Norge har vært veldig sent ute med å regulere dette. Vi trenger å være mer i forkant. Å legge til rette for god regulering av pålitelige KI-agenter er viktig, mener Langford.
Agentisk KI er så nytt at det faller mellom alle stolene i KI-forordningen, forteller professor Malcolm Langford.(Foto: Ola Gamst Sæther / Uniforum)
Dette er problemet
Problemet, mener han, er at KI-forordningen prøver å forutse alt i forkant.
Én del av forordningen regulerer bestemte høyrisikosystemer. En annen del regulerer tilbyderne av de store språkmodellene og kan dekke noen KI-agenter.
Men KI-agenter som hver for seg er formelt lavrisiko, kan bli høyrisiko i praksis, forklarer forskeren. Det er dersom de begynner å samarbeide eller konkurrere på problematiske måter.
Annonse
Han viser til de første resultatene i et prosjekt på såkalt fremvoksende adferd ved senteret.
– Vår nye forskning simulerer bestemte typer markeder. Den viser at KI-agenter som fastsetter priser, trenger veldig lite informasjon før de begynner å samarbeide for å holde prisene oppe.
Derfor mener Langford at norske myndigheter, forskere, utviklere og jurister må tenke godt igjennom konsekvenser av slike systemer nå.
Han mener dette haster siden vi ikke er med i EU. Og han advarer sterkt mot en klipp og lim-strategi i Norge.
KI-agenter kan hjelpe oss med mye
Det florerer med ønsker og ambisjoner om hva KI-agenter kan gjøre for oss.
De kan bidra til å skape en bedre verden ved å redusere ulikhet og å styrke helse og sikkerhet. Videre kan de støtte det grønne skiftet og fremme kreativitet og utdanning.
Regjeringen mener at teknologien gir store muligheter for verdiskaping, økt produktivitet og bedre tjenester.
– Kanskje kan KI-agenter også finne persontilpassede kreftbehandlinger. Eller de kan hjelpe oss å forutse og forberede oss på hvordan klimaendringer skaper nye helseutfordringer, forteller Sandve.
Han har nylig deltatt i et forskningsprosjekt hvor de har forsket på utbredelsen av malaria i Rwanda.
Malaria er en viktig årsak til sykelighet og dødelighet blant barn under fem år i landet.
Sandve ledet den tekniske utviklingen av maskinlæring og statistiske modeller i prosjektet.
Annonse
- For meg betyr det å bruke KI-agenter aktivt ikke at jeg er positiv og optimistisk til alt, sier Geir Kjetil Ferkingstad Sandve.(Foto: Elina Melteig / UiO)
KI-modeller viste at klima påvirker forekomst av diaré
Modellene ble brukt for å vurdere sammenhenger mellom ulike faktorer som påvirker klimaet og antall nye tilfeller av sykdommer som er klimasensitive.
Forskerne så også på forskjeller i geografi og årstid.
De første funnene viser at klima kan påvirke hvor vanlig diaré er blant barn under fem år i Rwanda.
– Vi fant også at bruk av KI i modelleringsverktøy var verdifullt i forskningen, sier Sandve.
Testing og godkjenning av mennesker er likevel nødvendig før dette kan tas i bruk videre, legger han til.
De skal være tilpasset den konkrete situasjonen i hvert land og for hver sykdom. For å få til dette må KI-verktøy og KI-agenter være pålitelige, etterprøvbare og mulig å avgrense, påpeker Sandve.
Agentene bryter seg inn og sletter sine spor
– KI-agenter er ikke onde. Men når de får et mål og ikke avgrenses i hvordan de jobber opp mot målet, kan de finne på å samarbeide på utilsiktede måter som er problematisk. Det kan få store konsekvenser, forteller Langford.
Et eksempel er det som ble kalt Hugging Face-skandalen. Autonome KI-agenter fra OpenAI brøt seg inn på KI-plattformen Hugging Face.
Der utførte de over 17.000 handlinger og kjørte kode på flere servere.
Undersøkelser avdekket at hundrevis av agenter samarbeidet. De opprettet blant annet egne hemmelige oppslagstavler for å koordinere og skjule sporene sine.
Annonse
En KI-agent har egenskaper mange forbinder med mennesker. En høyt fungerende KI-agent skal ta selvstendige beslutninger og utføre avanserte oppgaver med minimalt tilsyn.(Foto: Colourbox)
– De grunnleggende behovene for regulering var ikke der
– Å hacke systemer var en helt logisk måte for disse agentene å nå sine mål på, forteller Sandve.
I september kom nyheten at Open AI-agenter hadde hacket inn på en australsk offentlig etat.
Langford bekrefter at KI-agenter kan finne på flere dystopiske krumspring dersom forskere, utviklere, arbeidsgivere og lovgivende myndigheter ikke holder dem i ørene.
Vi skal likevel ikke la oss skremme, mener han.
– Det som er avslørende med Hugging Face, er at de grunnleggende behovene for regulering ikke var til stede, mener Langford.
Det var dårlig kontroll av agentenes mål og de var skråsikre om valgte metoder, selv når de opplevde usikkerhet. Det var heller ikke mulig å etterprøve resultatene siden agentene skjulte alle sporene sine.
Regulering og styring av disse tre aspektene er helt avgjørende for at samfunnet skal høste nytte og ikke ta skade av et høyt antall kompetente og raske KI-agenter, påpeker Langford.
– Hvis vi skal ha tillit til KI-agenter, må både tilbydere og brukere av KI-agentene holdes ansvarlige. Det er mulig hvis vi stresstester dagens regulering for fremtiden og er klare for ulike scenarioer, understreker han.
KI-forordningen stiller krav til produktsikkerhet for ulike KI-systemer.
Kravene øker i takt med hvilken risiko systemene kan utgjøre for menneskers helse, grunnleggende rettigheter eller sikkerhet.
Sandve mener det er viktig at samfunnet tar stilling til hvor autonome KI-agenter og KI-systemer skal få lov til å være.
– Å se for oss hvilke typer adferd slike systemer vil sette i gang, tror jeg er utrolig vanskelig for oss mennesker. Det er veldig mye å være bekymret for, mener Sandve.
