Det gikk ikke lang tid fra chatte-roboten «Tay» gikk fra å skrive om søte valper til at alle feminister bør brenne i helvete og at Hitler egentlig hadde rett.

Microsoft stod bak den kunstig intelligente roboten, som lærte av menneskene den kommuniserte med på Twitter. Hun fikk sin egen konto på det sosiale mediet i 2016, men den ble slettet etter mindre enn et døgn.

Det er lett å le av «Tay», men sannheten er at hun bare er toppen av isfjellet av kunstig intelligens som diskriminerer folk på bakgrunn av hudfarge, etternavn, kjønn, alder og helse.

Hvis vi skal forstå hvorfor det skjer, må vi forstå hvordan kunstig intelligens blir til, sier Morten Goodwin, forsker ved Universitetet i Agder.

− I de fleste dataprogrammer er det mennesker som bestemmer absolutt alt som skal skje, men i kunstig-intelligens-programmene så er det dataprogrammet som lærer.

Av verden rundt seg. Altså av oss mennesker.

Det har ført til at afroamerikanere i Wisconsin USA får strengere straffer enn hvite – selv om de blir dømt for akkurat samme forbrytelse, ifølge den amerikanske nettavisen ProRepublica. Den kunstige intelligensen, som rangerer hvor farlige forbryterne er, har vurdert afroamerikanere som «høyere risiko». Og dommerne har dermed gitt dem strengere straffer.

Så hva er det som skjer? Og hva kan vi gjøre for å stoppe det?

Hemmelige dataprogram

Firmaet bak den kunstige intelligensen som dommere i Wisconsin bruker, har benektet diskriming. Samtidig har de ikke gitt hverken fornærmede eller andre innsyn i dataprogrammet deres.

Så hva som skjer, blir spekulering. Trolig har det kommersielle juss-dataprogrammet blitt trent opp av gamle domfellelser.

Så hvis afroamerikanere ble vurdert som farligere når dommere av kjøtt og blod fikk bestemme selv, så vil den kunstige intelligensen herme.

Men det betyr ikke at firmaet har lagd et rasistisk program med vilje.

For selv hvis teknologene fjernet merkelappene om «rase» da de trente opp den kunstige intelligensen, finnes denne informasjonen gjerne skjult i alle opplysningene som finnes om tidligere domfelte.

− Kunstig intelligens som ikke får vite sensitive opplysninger, kan fortsatt oppføre seg diskriminerende fordi de kan finne frem til de sensitive opplysningene ved hjelp av andre opplysninger, skriver Aria Khademi, forsker ved Penn State University, USA, i en e-post til forskning.no.

Opplysningene kan i dette tilfellet være informasjon som hvilket strøk folk bor i eller hvor mye de tjener. Som altså vil være nok til å dele inn folk basert på om de for eksempel er hvite eller afroamerikanere.

Legger igjen spor i jobbsøknader

Slike spor etter hvilken gruppe i samfunnet vi hører til, legger vi fra oss hele tiden, forteller Goodwin. Og det oppdager kunstig intelligens veldig lett.

Det gjelder også når vi skriver jobbsøknader. Kunstig intelligens setter folk i bås etter kjønn, alder og bakgrunn, selv om vi ikke har oppgitt det i søknaden.

− Jeg som er 40 år skriver for eksempel annerledes enn en som er 20. Så selv om jeg ikke har skrevet alder, vil den informasjonen komme frem, sier Goodwin.

Og det er nettopp i arbeidsmarkedet Goodwin tror vi nordmenn snart vil kunne merke inntoget av diskriminerende kunstig intelligens.

Mange firmaer utvikler kunstig intelligens som kan foreslå hvem som skal bli ansatt. Da kan teknologien fort diskriminere basert på kjønn, hudfarge, etternavn eller alder – uten at sjefene nødvendigvis er klar over at det skjer.

− Det er kjempeviktig å skjønne at kunstig intelligens kan være diskriminerende. Hvis ikke får vi tilfeller hvor visse grupper mennesker blir diskriminert.

Etterlyser «Mattilsynet» for kunstig intelligens

Derfor etterlyser Goodwin et eget tilsyn som kan komme uanmeldt og teste om dataprogrammene som norske virksomheter bruker, er diskriminerende. Han sammenligner det med Mattilsynet.

− Av og til kommer Mattilsynet inn på restauranter og sjekker at det ikke er rotter i døra og hundebæsj på kjøkkenet. Og det kan man gjøre med kunstig intelligens også.

Men blir et slikt tilsyn for lite for sent?

For ofte ender den kunstige intelligensen opp med å bli enda mer rasistisk eller kjønnsdiskriminerende enn menneskene. Som med Microsofts chatbot «Tay», som ble nazist i løpet av et døgn.

Det handler om at kunstig intelligens er veldig god på å forsterke det de anser som den viktigste informasjonen.

Luket ut alle kvinnelige kandidater

Goodwin trekker frem sjakkrobotene som et godt eksempel på hvor god kunstig intelligens er til å oppdage mønstre. Disse er også kunstig intelligens, som bruker informasjon om sjakkpartier spilt av mennesker til å lære seg å spille.

− De blir bedre enn Magnus Carlsen til å spille sjakk, selv om de har trent med Magnus Carlsen sine sjakkpartier. For de finner noe felles bra.

Noe lignende skjedde da kunstig intelligens skulle hjelpe Amazon-sjefer til å finne de beste kandidatene til å jobbe hos dem.

Målet var å unngå feilansettelser. Resultatet ble at roboten luket ut alle de kvinnelige jobbsøkerne, ifølge nyhetsbyrået Reuters.

− Den kunstige intelligensen blir enda «bedre» enn dataene du putter inn. Den finner noe felles som er bra for alle. I Amazon-eksempelet regnet den kvinner som ble ansatt som støy, forklarer Goodwin.

Dataprogrammet hadde lært av informasjon om tidligere ansettelser i firmaet. Og de som ble ansatt hadde et tydelig fellestrekk: Det var som regel menn.

Mens sjefene i Amazon faktisk ansatte en kvinne i ny og ne, droppet den kunstige intelligensen like greit hele denne gruppen søkere.

Sinte mørkhudede menn

Så hvordan kan de som lager den kunstige intelligensen sikre at den ikke diskriminerer grupper med folk?

− Vi må ha mere mangfold og inkludering på alle nivåer i teknologisektoren, skriver Lauren Rhue i en e-post til forskning.no. Hun forsker på diskriminerende teknologi ved Maryland University.

I et av forskningsprosjektene hun jobber med, har hun testet teknologi som kjenner igjen ansikter – og følelsene de uttrykker.

Hun fant at folk med mørk hud oftere ble klassifisert som sinte eller redde sammenlignet med folk med lys hud. Studien er ikke publisert i et vitenskapelig tidsskrift enda, men ligger ute på SSRN.

Ved å bruke pressebilder av amerikanske basketballspillere, testet hun hvordan to kommersielle programmer for ansiktgjenkjenning tolket de smilende mennene.

De lyshudede spillerne ble tolket som gladere, og med færre negative følelser, enn de mørkhudede.

Dette kan få konsekvenser for folk. Ansiktgjenkjenning brer om seg og blir blant annet brukt til å identifisere truende mennesker i en folkemengde, ifølge Rhue.

Vanskelig å gi maskinene en objektiv fasit

Rhue mener også at teknologifirmaer må bli mer bevisste på hvordan «fasiten» de fôrer inn til den kunstige intelligensen faktisk har blitt til.

Det er dataingeniørene som har satt merkelapper som «blid», «sint» og «redd» på ansiktene den kunstige intelligensen har øvd seg på.

− Folkene som setter merkelappene må også være mangfoldige og representere mange forskjellige grupper, skriver Rhue.

Det betyr ikke at de som har laget programmene er rasister, slår hun fast. Men det er kjent at det er vanskeligere å lese følelsene i ansikter som ser annerledes ut enn ditt eget.

Så når (for det meste) hvite menn har gitt fasiten på hvilke følelser ansikter viser, og i tillegg de fleste ansiktene den kunstige intelligensen har øvd seg på er hvite, kan slike skjevheter oppstå.

Kunstig intelligens kan oppdage diskriminering

Men kanskje er løsningen på problemet også teknologisk?

Aria Khademi er en av forskerne bak en ny kunstig intelligens som kan oppdage diskriminering. Dette dataprogrammet leter etter forskjellsbehandling ved å for eksempel teste om lønningene til ansatte i en bedrift er rettferdige.

Da kan dataprogrammet for eksempel plukke ut en kvinnelig ansatt og sjekke: «Ville denne damen tjent mer penger hvis hun var en mann?»

Slik kan datamaskiner være moralsk politi over andre datamaskiner. Studien kan du lese blant artiklene publisert av the World Wide Web conference i 2019.

Men kanskje kunne denne kontrollen vært en del av all kunstig intelligens? Slik at diskrimineringen ble luket ut med en gang?

− Det er et lovende neste skritt, som vi har tenkt til å ta. Men for å få det til må vi først utvikle et verktøy som kan fange opp diskriminering helt pålitelig. Først da kan vi inkorporere det inn i våre fremtidige kunstig-intelligens-systemer, skriver Khademi.

Trenger menneskelig innblanding

Uansett er det viktig ikke å tro at datamaskinene tar objektive avgjørelser, mener Goodwin.

Og selv om teknologene skulle bli mer bevisste på mangfold når de utvikler ny kunstig intelligens, så bør myndighetene drive etterkontroll, mener Goodwin.

Forslaget hans er at dette tilsynsorganet kan hete «Algoritmetilsynet» og bør ligge under Datatilsynet.

Direktør i Datatilsynet, Bjørn Erik Thon, mener det ikke er behov for å opprette et eget tilsyn som driver med dette.

− Det hører med til vårt mandat å gjennomføre tilsyn der vi sjekker alle sider av en sak, også om man diskriminerer på kjønn, alder, hudfarge eller hva det måtte være. Dette kan vi enten gjøre som stikkprøver, ved bredere tilsyn mot en hel sektor eller i kombinasjon med andre temaer som for eksempel informasjonsplikt, informasjonssikkerhet eller innsynsrett, skriver Thon i en e-post til forskning.no.

Samtidig blir beslutninger om folks liv tatt stadig oftere av kunstig intelligens også her i Norge. For eksempel har Utlendingsdirektoratet begynt å bruke slik teknologi når de skal avgjøre om folk skal få familiegjenforening, ifølge denne saken fra Apollon, publisert på forskning.no.

En fremtid med kunstig moral?

En del forskere rundt om i verden håper også å kunne gi datamaskinene «kunstig moral» i fremtiden.

Klarer de det, er kanskje problemet løst.

Tanken er at vi istedenfor å tvinge datamaskinene til ikke å diskriminere, kunne vi trent dem opp til å forstå hva god moral er.

I beste fall blir datamaskinene enda flinkere enn menneskene til å gjøre gode moralske vurderinger.

Men Khademi er skeptisk til at kunstig intelligens vil oppdage diskriminering som vi mennesker ikke forklarer den at den skal se etter.

− Selv mennesker med vår intelligens kan ikke oppdage noe som vi ikke er bevisste på eller har blitt trent opp til å se etter. Derfor kan vi ikke forvente at en kunstig intelligens skal kunne oppdage diskriminering som den ikke er klar over at skjer, skriver Khademi.

Og noe av utfordringen er at moral ikke er noen absolutt sannhet.

− Vår forståelse av etikk og moral er i stadig endring. Når vi dytter inn regler, må disse oppdateres hele tiden, for plutselig kommer #metoo eller likekjønnede ekteskap, sier Goodwin.