Forskrift om testing av kunstig intelligens

av Nils Köbis, Margarita Leib, Rainer Rilke, Marloes Hagens og Bernd Irlenbusch

Kunstig intelligens (AI) er integrert i ulike aspekter av livene våre.¹ AI spiller en betydelig rolle i å forbedre medisinske diagnoser,^2,3 effektivisere hverdagsoppgaver, og arbeide for å redusere ulikheter i samfunnet vårt.⁴ Imidlertid kommer AI også med nye farer. Det gjenskaper eksisterende skjevheter,⁵ letter spredning av feilinformasjon, og kan misbrukes til korrupte formål.⁶

Den europeiske unions AI-ACT, Det hvite hus's AI Bill of Rights, og koordinert innsats fra G7 viser regjeringens innsats for å møte disse risikoene.⁷ En av de mest avanserte er EUs AI-ACT.⁸ AI-ACT klassifiserer AI-systemer i ulike risikokategorier basert på hvor sannsynlig de vil forårsake skade. Den foreslår deretter skreddersydde forskrifter for hver kategori av systemer for å minimere disse risikoene. For generative AI-systemer som store språkmodeller (LLMs; tror ChatGPT, Googles Bard) AI ACT krever åpenhet. Ganske enkelt, hver gang folk møter eller samhandler med disse AI-modellene, bør systemets utdata tydelig identifiseres som stammer fra AI, noe som gir større klarhet og bevissthet til brukerne.

Åpenhet for å sikre etisk kunstig intelligens

Åpenhet, avsløring av relevant informasjon til forbrukere og brukere, er et populært verktøy i regulatorenes verktøykasse,⁹ også utenfor konteksten av AI. Politikere krever åpenhet for å unngå at folk skader seg selv. Vurder advarslene på sigarettpakker som fremhever farene ved røyking eller ernæringsinformasjonen om sukkerholdig mat og drikke. Åpenhet brukes også for å oppmuntre folk til å redusere skade på andre og handle mer etisk. Det ledende prinsippet for disse åpenhetssentrerte retningslinjene er antakelsen om at tilgang til informasjon gir individer mulighet til å ta informerte og moralsk forsvarlige beslutninger. Den samme logikken er nå omtalt i AI-ACT for å redusere potensialet for AI-systemer til å styre folk mot skadelige, uetiske handlinger. Tanken er at å avsløre at en viss utgang genereres av en LLM vil få dem til å justere oppførselen sin deretter.

Folk samhandler stadig oftere med LLM. Enkeltpersoner henvender seg til ChatGPT for et bredt spekter av forespørsler, fra å søke hjelp med lekser og forslag til oppskrifter til å kjempe med etiske dilemmaer. Slike råd kan til tider gå surt. Forekomster skapte overskrifter som rapporterte at AI rådet et barn til å sette inn en krone i en stikkontakt,¹⁰ gitt instruksjoner om butikktyveri og fremstilling av eksplosiver,¹¹ og foreslåtte brukere avslutte relasjonene sine.¹² Fra brukerens ståsted kan virkningen av slik veiledning være dyp, noen ganger resulterer i livsendrende beslutninger. For eksempel har det dukket opp rapporter om at en kvinne skilt mannen hennes fulgte ChatGPTs råd om å gjøre det.¹³ Allerede på 1960-tallet advarte AI-pionerer som Joseph Weizenbaum om risikoen ved at folk tilskriver datagenererte råd menneskelige egenskaper.¹⁴ Siden disse risikoene er enda mer relevante i dag, er det foreslått forskrifter som krever åpenhet for å motvirke dem. Det sentrale spørsmålet gjenstår: Fungerer åpenhet faktisk?

Atferdseksperimenter for å teste effekten av åpenhet

En måte å finne ut av det på er å utføre empirisk forskning på effektiviteten til åpenhet. Vår nylige studie¹⁵ kaster det første lyset på om åpenhet reduserer den etiske risikoen ved at folk følger uetiske AI-råd. I denne studien konfronterte deltakerne et etisk dilemma: å velge ærlighet eller å fortelle en løgn for å øke betalingen. Før de tok avgjørelsen, ble de presentert med enten AI-genererte råd eller råd skrevet av et menneske. En gruppe forble uvitende om rådene stammet fra AI (spesifikt åpen kildekode-modellen GPT-J) eller et medmenneske. I mellomtiden ble den andre gruppen informert om rådets kilde. Dette oppsettet lar oss empirisk undersøke effekten av åpenhet.

La oss først undersøke resultatene når deltakerne ikke kjente rådskilden. Her oppførte folk seg likt etter AI og menneskelige råd, noe som indikerer at AI kan produsere råd som ligner på mennesker. Da AI oppfordret deltakerne til å være uærlige, fulgte de etter. For å teste effektiviteten av åpenhet, må man sammenligne deltakere som kjenner rådskilden og de som ikke gjør det. Hvis åpenhet fungerer, bør deltakerne følge AI-råd i mindre grad når de kjenner rådskilden sammenlignet med når de ikke kjenner den. Det er imidlertid ikke det studien finner. I stedet indikerer resultatene at folk følger AI-råd i samme grad når de vet at rådene genereres av AI og når de ikke vet det.

Psykologiske implikasjoner

Studien avdekker et avgjørende funn: Åpenhet er ikke en tilstrekkelig intervensjon. Dette funnet stiller spørsmål ved forutsetningen bak åpenhetspolitikken. Folk justerer nemlig ikke oppførselen sin når de først vet at de blir rådet av AI. Når folk møter en økonomisk fristelse til å oppføre seg på en bestemt måte (f.eks. lyve for økonomisk fortjeneste), er de motivert til å få informasjon som oppmuntrer til slik oppførsel. Å motta slik oppmuntrende informasjon fra et AI-system er nok til å presse folk mot selvbetjent, uetisk oppførsel.

I kjernen legger essensen av åpenhetspolitikk ansvaret for å lindre (etisk) skade på individet.¹⁶ Går tilbake til eksemplene ovenfor, er det individet som forventes å rekalibrere sine kjøpsvaner, endre forbruk valg, eller til og med stoppe vanene sine som svar på energimerker, sukker- og kaloriinnholdsinformasjon og varsler om røyking risikoer. En lignende antakelse gjelder for AI-transparenspolicyer. Her er det brukeren som engasjerer seg i AI-systemer, for eksempel LLM-er, som er ansvarlig for å tilpasse atferden sin når de vet at de samhandler med AI. Ta populære AI-språkmodeller som ChatGPT eller Googles Bard. Slike modeller kommer med en advarsel om at AI produserer potensielt "unøyaktig eller støtende informasjon", forutsatt at brukerne vil ta det med i deres beslutningstaking. Likevel viser funnene våre at slike ansvarsfraskrivelser sannsynligvis ikke vil hjelpe når noen er motivert til å utnytte AI-utgang for å fremme deres egeninteresser.

Når vi ser inn i fremtiden, går relasjonene våre med LLM-er raskt. Folk som en gang ikke brukte slik teknologi, integrerer den nå i hverdagen, og de som allerede har omfavnet LLM-er, danner i økende grad meningsfulle "syntetiske relasjoner" med AI modeller. Disse meningsfulle, pågående relasjonene innebærer AI-modeller som "husker" tidligere samtaler og preferanser og tilpasser resultatet til den spesifikke brukeren. Ettersom det intrikate samspillet mellom AI og mennesker stadig vokser, er det avgjørende å forstå hvordan folk inkorporerer AI-utgang i sin (etiske) beslutningstaking.