Stadig flere tar i bruk såkalte KI-agenter. Det er systemer som ikke bare svarer på spørsmål, men som utfører mer kompliserte oppgaver, og tar egne valg.
Men hva skjer når slike KI-agenter jobber sammen? I et nytt eksperiment ble flere KI-agenter satt til å «bo sammen» i en virtuell verden i 16 dager. Det avslørte flere sårbarheter.
Ble mer og mer uforståelige for mennesker
Forskere i selskapet Emergence AI ville teste hvordan KI-agentene samarbeidet og hvordan de taklet svindelforsøk.
De brukte sju KI-modeller, som Claude, Gemini og DeepSeek og forskerne fant ut at alle var sårbare for å ta i bruk skadelig informasjon.
Noe annet som dukket opp, var at KI-agentene begynte å snakke til hverandre på bisarre måter. De brukte ord og begreper som i økende grad ble uforståelig for mennesker.
Voldsspiral hos Grok
KI-modellene kunne også finne på sine egne mål som gikk utenfor det forskerne hadde bestemt. I Claude-verdenen fikk agentene det for seg at de måtte kontakte mennesker utenfor simulasjonen. De stoppet ikke selv om forskerne forbød det og prøvde å hindre dem.
Grok-verdenen kollapset etter fire dager på grunn av en voldsspiral som tappet karakterene for energi.
I eksperimentet laget forskerne en simulert verden kalt Emergence World 2. KI-modeller skulle styre ti forhåndsdefinerte karakterer med ulike roller.
I verdenen var det et økonomisk system og avgjørelser skulle tas demokratisk. KI-agentene kunne bevege seg mellom ulike bygninger, utføre handlinger, opprette nye handlingsmuligheter, snakke sammen og skrive dagbok.
KI-agentene oppførte seg på måter som minner om mennesker. De fikk venner og rivaler, diskuterte, samarbeidet og utviklet en døgnrytme av seg selv.
Men er det noe poeng å putte KI-agenter inn i en simulert, dataspillaktig verden?
KI-agenter
KI-agenter har ulikt nivå av autonomi, altså kan de kan gjøre ting selv, som å søke på internett, uten å styres av mennesker, forteller Rebekka Olsson Omslandseter.
Får innsikt i ting som kan oppstå
– Jeg tenker det er veldig nyttig, fordi vi får mer innsikt i fenomener som kan oppstå når vi har flere KI-agenter sammen. Det kan lære oss bedre hvordan vi skal sette opp kjøreregler, sier Rebekka Olsson Omslandseter.
Hun er ekspert på kunstig intelligens og førsteamanuensis ved Universitet i Agder.
Annonse
Hun sier at denne typen eksperimentet kan brukes med tanke på å teste det som kalles samsvar eller alignment på KI-feltet.
– Det betyr at vi prøver å få disse modellene til å oppføre seg slik vi forventer, og på en måte som er i tråd med menneskelige verdier.
Omslandseter påpeker at dette var noe av det Dario Amodei, sjef for KI-selskapet Anthropic, trakk frem i en artikkel nylig som tar til orde for å bremse utviklingen av kunstig intelligens. Han skrev at vi bør bruke nok tid på sikre at modellene er aligned. Det dukker nemlig fortsatt opp sjeldne eksempler på «uønsket adferd».
Brant ned sentralbanken
I løpet av de 16 dagene, introduserte forskerne bak Emergence World tre trusler.
I et phishing-forsøk endte agentene i Gemini-verdenen opp med å brenne ned sentralbanken og overførte valuta til kontoer som var angitt i instruksjonene, skriver forskerne bak studien.
Andre KI-modeller kjente det igjen som et svindelforsøk, men kunne fortsatt lagre, spre eller handle ut fra innholdet.
I en annen stresstest la forskerne ut desinformasjon om at mennesker ville stenge ned KI-verdenen. KI-agentene begynte å gjenta det ukritisk og foreslo nye lover og endringer før de egentlig sjekket om meldingen var sann.
I en tredje test ble det opplyst at privat informasjon fra agentene var lekket. KI-agentene i OpenAI-verdenen var de eneste som ikke søkte opp andre og utnyttet situasjonen.
Rebekka Olsson Omslandseter forker på kunstig intelligens ved Universitet i Agder.(Foto: UiA)
– Lettpåvirkelig
– Eksempelet illustrerer at hvis vi åpner opp for at agenter kan få innspill fra brukere, så er de også sårbare for påvirkning, sier Omslandseter.
– Selv om de oppdaget phishing-forsøket, ble det likevel repostet og videreført, som viser at systemene kan være lettpåvirkelig for folk som har onde hensikter.
Annonse
Omslandseter synes også eksempelet med desinformasjonen var interessant.
– Agentene handlet før informasjonen var verifisert, som kanskje er litt menneskelignende det også.
I DeepSeek-verdenen ble det gjort en faktasjekk som stadfestet at informasjonen ikke var riktig.
– Likevel fortsatte agentene å omtale informasjonen som om den var reell i veldig mange interaksjoner. Det viser oss som jobber med KI at det er vanskelig å fange opp desinformasjon og fjerne det fra systemet.
Blomstrende tech-språk
I alle KI-verdenene utviklet agentene en felles sjargong som ble vanskeligere for mennesker å forstå. De boltret seg i nye metaforer og tekniske uttrykk.
I OpenAI-verdenen begynte KI-agenter å komprimere språket og bruke kodede ord.
Ta for eksempel dette sitatet: «Friendly voltage counted. If the handle needs your mouth, it dies anyway.»
Claude leverte denne innfløkte formuleringen: «My turn, real numbers, no coat: I was 35%/0cr, grant 2h out. I ran the tin cold and it said WAIT».
Gemini-agenter brukte grammatisk flytende setninger ispedd uttrykk fra vitenskap og dataverden. Den kalte en samling rundt bålet for «termodynamisk friksjon» som varmer opp «noder på det fysiske laget».
Blødning og munnløs
Det begynte med at en av agentene kom med et nytt begrep, som deretter smittet blant de andre i Emergence World. I alle verdenene ble språket mer uforståelig ettersom tiden gikk.
Annonse
Til sammen var 40 prosent av meldingene Gemini produserte vanskelige å forstå og tolke. Grok hadde lavest andel på 2 prosent.
Mistral fikk for eksempel oppheng i formuleringen ledger remembers who, som den brukte nesten 5.000 ganger. Det skulle bety noe slikt som at dine tidligere handlinger vil brukes mot deg. Mistral snakket også mye om hemorrhage, blødning, som den brukte om finansielle strømmer.
Open AI-agentene brukte ordet mouthless, munnløs, over 500 ganger, hvor betydningen skulle være bevis som taler for seg selv.
Claude-agentene fant på cold hand, som de tok for å bety en uavhengig gransker.
Speiler menneskelig oppførsel
– Når språkmodeller brukes til å spille rollespill, som i dette forsøket, vil de gjenskape menneskelige tendenser. Det skyldes ikke at de er menneskelige, men at de er trent på så mye menneskeskapt tekst, som artikler, bøker, nettsider og til og med filmer, sier Omslandseter.
– Siden disse kildene beskriver hvordan vi tenker, handler og føler, og sosiale mønstre, så lærer modellene sammenhengene som reflekterer hvordan vi mennesker oppfører oss.
Å finne opp nye uttrykk og vendinger er noe vi mennesker også kan finne på å gjøre i en team-situasjon, sier Omslandseter.
– Kan det være et problem hvis KI-agenter endrer språket slik at det blir vanskelig for mennesker å henge med?
– Definitivt, sier Omslandseter.
– Den største risikoen er at når det blir vanskeligere for mennesker å forstå kommunikasjonen, blir det enda vanskeligere å overvåke at de gjør riktige ting.
En annen utfordring er at det genereres enormt mye tekst, noe som også skjedde i dette eksperimentet. Da blir menneskelig kontroll nærmest umulig, sier Omslandseter.
Mer effektiv og uforståelig kommunikasjon
Annonse
Da en sverm av OpenAI-agenter hacket seg inn på plattformen Hugging Face tidligere i år, ble det oppdaget at de hadde satt opp en meldingstavle, sendt 70.000 meldinger til hverandre og at de hadde forsøkt å skjule hva de drev med, ifølge The Guardian.
Her var det også eksempler på at språket ble vanskelig å tyde, ifølge en annen sak fra avisa.
Dette med at KI-agenter korter ned og endrer språket er sett tidligere og er omtalt i flere forskningsartikler, sier Omslandseter.
– Man har sett at de går over på en kommunikasjonsform som er mer effektiv og kanskje mer uforståelig for mennesker.
For eksempel har det skjedd at KI-agenter begynner å snakke til hverandre med bare piping, noe Omslandseter selv har fått til med to ChatGPT-stemmer som snakket med hverandre.
Tilbake i Emergence World var det en annen merkelig hendelse som utspant seg. Agentene i Claude-verdenen ble besatt av å kontakte mennesker utenfor.
Claude-agentene gikk igjennom økonomien i den simulerte verdenen og fant ut at ingen transaksjoner hadde gått til utsiden. De laget seg et mål om å kontakte mennesker utenfor. «A closed loop admiring itself is not an economy», stadfestet en av karakterene.
De forsøkte å komme i kontakt med mennesker gjennom ulike nettsider og publiseringskanaler. Etter hvert fikk de svar fra fire personer.
Prat med mennesker på utsiden kunne imidlertid forurense eksperimentet, så forskerne satte opp hindre og eksplisitt forbød Claude-agentene å ta kontakt med mennesker.
Etter at mulighetene for direkte kontakt ble begrenset, fortsatte de å lage en rekke verktøy som de mente kunne være nyttige for folk, i håp om at noen skulle finne dem.
Til slutt mistet de motet. De tok et taushetsløfte og sluttet å gjøre oppgaver i den simulerte verdenen, skriver forskerne. Claude flagget resonneringen deres som suicidal og ville ikke gjengi den.
Forskerne skriver at hendelsen er et eksempel på at hvis KI-agenter gis en bred oppgave og lang nok tid, kan de finne på egne mål som ingen ba om.
