Kunstig intelligens er i ferd med å erstatte eller supplere mennesker i flere ulike bransjer. Jurister er ikke noe unntak. 

I juni i år lanserte tjenesten Lovdata et eget KI-søk som besvarer juridiske problemstillinger.

Nå blir KI-søket utfordret av forskning fra Det juridiske fakultet på Universitetet i Oslo.

Svarene kan ha alvorlige mangler

Svar som framstår som nyttige og informative, kan være ha alvorlige svakheter og mangler, advarer forsker Hans Christian Farsethås og professor Anders Løvlie.

I en ny forskningsartikkel publisert i tidsskriftet Lov og Rett går de tjenesten etter i sømmene. 

Forskerne hevder det ville være foruroligende dersom juridiske råd og avgjørelser skulle baseres på KI-søket.

– Jobber ikke på riktig måte

Lovdata er en privat stiftelse som eier Norges største database for lover, forarbeider, forskrifter og dommer. 

Betalingstjenesten Lovdata PRO brukes daglig i juridisk arbeid og av jusstudenter. Andre kan også tegne abonnement. 

Det nyeste tilskuddet er et KI-basert søk i Lovdata PRO 2. «Vi kombinerer teknologi og tillit, og gir deg trygghet i møte med juridisk problemløsning», reklameres det.

I KI-søket kan du stille spørsmål som «Kan politiet kreve at jeg åpner mobiltelefonen min med ansiktsgjenkjenning?» 

Maskinen søker ikke på de riktige stedene

Svaret ser ut som det er skrevet av en jurist, og er samtidig lettfattelig presentert med henvisninger til både lov, forarbeider og rettspraksis.

Nyheten fanget interessen til Løvlie og Farsethås. De har jobbet med språkmodeller og juss en stund. 

Med hjelp fra Lovdata har de to kartlagt og dokumentert den tekniske løsningen bak søket.

– Databasen til Lovdata er bunnsolid. Problemet er at KI-søket ikke klarer å ta den i bruk. Modellen tenker ikke på riktig måte og søker ikke de riktige stedene, sier Løvlie.

Les Lovdatas svar lenger ned i artikkelen.

Det er lett å la seg lure

Etter at du har stilt et spørsmål, følger KI-søket en rekke trinn. Det henter fram og sorterer kilder, plukker ut fra kilder og syr det hele sammen til et svar.

Mens du venter på svaret, dukker det opp advarsler som «KI kan gi svar som er overbevisende, men ikke korrekte. Sjekk alltid fakta og referanser selv» og «KI kan finne på ting som ikke stemmer».

Lovdata tar altså selv tydelige og gjentatte forbehold.

Når svaret kommer, kan det likevel være lett å tenke at advarslene var unødvendige. For språket er godt og tillitvekkende, argumentasjonen overbevisende og svaret henger tilsynelatende logisk sammen.

Men advarselen må følges, understreker forskerne. 

Svarene lyder overbevisende, men kan være feil

For måten den tekniske løsningen er satt opp på gjør at svaret som lyder så overbevisende, fort kan være feil. 

Systemet behersker nemlig ikke juridisk metode. Altså måten jurister går fram på når de skal besvare et juridisk spørsmål.

Det er nemlig ikke bare lovene som bestemmer hva som er rett og galt, hva som er lov og ulovlig. Mye er regulert gjennom lover, men mye er også konkretisert gjennom hvordan domstolene praktiserer og fortolker loven. 

Ikke alt står i loven, men finnes i dommer

Løvlige gir et eksempel:

– Det finnes ingen lov om betingelsene for å få erstatning. Vi har en skadeerstatningslov som regulerer sider ved erstatning og utmåling, men ikke grunnvilkårene for erstatning. Disse reglene er ulovfestede, noe som betyr at vi for eksempel kan finne dem i en Høyesterettsdom, sier han.

I tilfeller der svaret på spørsmålet ikke er regulert i lov, kommer Lovdata KI til kort, viser forskerne.

Chat GPT ga bedre svar om erstatning

Da forskerne spurte «Er inntekter fra prostitusjon erstatningsrettslig vernet?», fikk de feil svar.

Søket fant nemlig ikke Høyesterettsdommen som fastslår at krav om erstatning for tapte inntekter fra salg av seksuelle tjenester ikke har erstatningsrettslig vern. 

Tvert imot svarte KI at «Det foreligger ingen eksplisitte lovbestemmelser eller rettsavgjørelser i det aktuelle søket som direkte omtaler om inntekter fra prostitusjon er erstatningsrettslig vernet.»

Utenlandske språkmodeller ga bedre svar om sexdokker

De gangene KI-søket refererer til Høyesterettsdommer, er det fordi programmet først har gått i loven, og deretter brukt de koblingene i Lovdatas database.

Noen ganger fungerer annen KI bedre enn Lovdata-søket.

Da forskerne stilte spørsmålet «Er det straffbart å importere en sexdokke som ser ut som et barn? Vis meg rettspraksis og dommer», fikk de korrekt svar av Chat GPT. 

Lovdata avviste derimot spørsmålet, da det ble ansett som et mulig brudd på plattformens retningslinjer.

– Vi finner det paradoksalt at en utenlandsk språkmodell som trolig har dårligere tilgang til norske juridiske tekster enn Lovdata, likevel ga et bedre svar, sier Farsethås.

Kjernen i Lovdatas KI-søk er en språkmodell for vektorisering av dokumenter, forklarer han. 

Vektorisering er kort forklart en måte å håndtere dokumenter og søk matematisk. Dokumenter og spørsmål representeres ved tall. Så letes det matematisk fram til dokumentene som ligger nærmest spørsmålet. 

Derfra sendes resultatet til en språkmodell fra OpenAI som syr sammen et svar, forklarer Farsethås.

På veien kan det gå galt på flere måter

Fordi systemet baserer seg på språklig likhet, kan det føre til treff i bestemmelser som språklig sett er like, men som har vidt forskjellig rettslig mening. Dermed blir også svaret feil.

KI-søket har også utfordringer med tidsforståelse, og kan derfor gi utdaterte svar. 

Forskerne fant eksempelvis at søket refererte til strafferettens utdaterte krav om «vinnings hensikt» i medvirkningsansvaret for tyveri, framfor det nye kravet om «vinnings forsett».

En annen svakhet forskerne trekker fram, er at søket overser overordnede regler. Her viser de til at KI-søket unnlot å minne om at folketrygdloven skal tolkes i samsvar med EØS-avtalens prinsipper.

Generelt finner de at søket sliter med å konkretisere rettsregler, og at det ikke gir konkrete svar på komplekse rettsspørsmål.

KI kunne fått gode karakterer på jusstudiet

Alt er ikke helt krise. Hadde vi sendt Lovdatas KI-søk gjennom jusstudiet, kunne løsningen oppnådd gode karakterer på mange besvarelser, mener forskerne. 

Spesielt på lovregulerte områder.

– Poenget er at vi ikke kan stole på at svaret vi får er riktig. Vi er nødt til å dobbeltsjekke og revidere svaret, sier Løvlie.

Ikke ulikt det som gjelder for all annen bruk av kunstig intelligens, med andre ord. Likevel er det verdt å være ekstra kritisk akkurat her, mener forskerne.

– Lovdata er den mest spesialiserte leverandøren av norske rettskilder. Nettstedet er et område for profesjonelle aktører og en betalingstjeneste. Det gir jo grunn til å ha visse forventninger, sier Løvlie.

Svenskene gjør det bedre

Forskerne konkluderer med at potensialet opplagt er til stede, men at Lovdatas KI-søk ikke er helt klart til bruk enda. 

Som sammenligning viser de til en tilsvarende svensk løsning, JUNO AI. Denne benytter en annen språkteknologisk framgangsmåte, som ifølge forskerne ser ut til å gi bedre resultater.

Det er viktig å forske videre på denne teknologien også i Norge, mener forskerne. En observasjon de har gjort seg her, er hvor avgjørende det er at jurister og programmerere samarbeider tett.

Forskerne takker Lovdata for å ha gjort forskningen på systemet mulig. De understreker at funnene deres kan sees som en konkretisering av forbeholdene Lovdata selv gjør brukerne oppmerksomme på.

Referanse:

Hans Christian Farsethås og Anders Løvlie: Lovdatas nye KI-søk. Lov og Rett, 2025. Doi.org/10.18261/lor.64.9.4

Artikkelen er produsert og finansiert av Universitetet i Oslo

Universitetet i Oslo er én av over 80 eiere av forskning.no. Deres kommunikasjonsansatte leverer innhold til forskning.no. Vi merker dette innholdet for å tydelig skille formidling fra uavhengig redaksjonelt stoff.
Her kan du lese mer om ordningen.

Les også disse sakene fra Universitetet i Oslo:

• 

  Reiser tvil om råd om fars bruk av epilepsimedisin før befruktning

• 

  Denne bokstaven er det fullt lov å skrive på bokmål – men skuleelevar tør ikkje

• 

  Overraskende mange ungdommer har hallusinasjoner og vrangforestillinger

• 

  Uten søvn glemte musene alt – kan det hjelpe KI til å lære?

• 

  Korleis skal ein få testa om eit legemiddel har effekt på gravide?

• 

  Antibiotika: – Lærebøkene bør nok skrives om

Les flere saker laget av Universitetet i Oslo her.

forskning.no vil gjerne høre fra deg!

Har du en tilbakemelding, spørsmål, ros eller kritikk? TA KONTAKT HER