Skråsikker KI

Se for deg at du har to kolleger: «Pådriveren» og «Rådgiveren». De er kunnskapsrike, og du kan stole på at de vil ditt beste:

Pådriveren gir deg sine ærlige meninger, deler raust og begrunner sine anbefalinger, men spør aldri om dine meninger.

Den andre, Rådgiveren, holder sine egne meninger tilbake, og stiller heller spørsmål om hva du tenker. Deretter gir Rådgiveren deg tilbakemeldinger i form av argumenter for og mot dine egne synspunkter.

KI-systemer som er laget for eksperter, likner i dag på Pådriveren. De kan for eksempel si til en lege at denne pasienten har brystkreft i en tidlig fase. I noen tilfeller kan KI-systemet også fortelle hvorfor den gir dette svaret, men det gir ikke rom for nyansering eller dialog med legen.

Leger må treffe beslutninger som er forbundet med stor risiko. Tar de feil, kan pasienten i verste fall dø. Derfor vegrer leger seg ofte for å stole på kunstig intelligens når de skal stille diagnoser, viser forskning.

Om KI-systemet derimot hadde liknet på Rådgiveren, ville det lagt frem flere sannsynlige diagnoser som legen kunne vurdert, og så ville systemet argumentert for og mot hvert alternativ.

Nylig la vi frem lignelsen om Pådriveren og Rådgiveren for deltakerne på en konferanse om KI i offentlig sektor. Vi ba de rundt 100 deltakerne se for seg at de skal fatte en vanskelig faglig beslutning på jobben, og at ingen valgmuligheter peker seg ut som åpenbart bedre enn andre.

Deretter ba vi dem velge mellom å få hjelp av Pådriveren eller Rådgiveren i dette scenarioet. Hele 88 prosent valgte Rådgiveren. Det vil si den av de to hjelperne som ikke likner på dagens KI-systemer.

Hvorfor valgte så mange bort Pådriveren? Trolig fordi vi mennesker blir mistenksomme når noen prøver å overtale oss. Og nettopp dette mener vi KI-utviklere må ta innover seg.

I dag kan vi alle ta i bruk avanserte KI-systemer som Chat GPT. Vi kan be dem om å presentere flere alternative anbefalinger, samt argumenter for og mot disse. Flere med oss tror nå at også KI-systemer for eksperter må designes for å opptre på samme måte.

Det som kjennetegner jobben til blant annet leger, er at de må vurdere nettopp flere alternativer, og deretter veie argumenter for og imot hver av disse. Om KI-systemer skal bli nyttige diagnoseverktøy, må de støtte denne tankeprosessen.

I helsevesenet har KI så langt vist seg å være best egnet til å løse repetitive oppgaver. Det har Vestre Viken Helseforetak vist oss med KI som identifiserer benbrudd i røntgenbilder. Dette er en forholdsvis enkel oppgave, med lav risiko, sammenliknet med for eksempel å diagnostisere alvorlige sykdommer.

KI-systemet som ser etter benbrudd ligner på Pådriveren. Det passer godt, fordi dette systemet tilbyr entydige svar – nettopp hva som trengs ved jakt på mulige bruddskader.

Selv forsker vi på hvordan leger forholder seg til KI-systemer som stiller diagnoser. Tidligere forskning viser at leger som stiller diagnoser er opptatt også av eldre opplysninger i pasientens journal. I tillegg snakker de ofte med kolleger som har vært borti den samme pasienten eller pasientgruppen. Kort sagt ser de etter hint som ligger utenfor datagrunnlaget KI-systemet er utviklet på.

Legene jakter på mulige alternativer til diagnosen som virker mest opplagt. Dette er noe dagens KI-systemer ikke hjelper dem med. Derfor stoler ikke leger på de KI-baserte anbefalingene alene.

Ulempen med KI-Rådgiveren som hjelpemiddel til diagnostisering, er at leger ofte har dårlig tid. Alternativer samt for- og motargumenter legene må forholde seg til, kan sinke dem når ting må gå fort, hvilket er blant utfordringene vi forskere må studere.

I tilsvarende forskning på ingeniører – som i likhet med legene må treffe valg forbundet med risiko – tyder våre første funn på at også disse yrkesutøverne vegrer seg for å stole på KI i jobben sin. De ønsker seg KI-systemer som likner Rådgiveren, de også. Annen forskning viser at det samme gjelder fagfolk i flere bransjer.

Skal KI-verktøy bli nyttige for eksperter som løser oppgaver med høy risiko, mener vi at disse må oppføre seg som Rådgiveren: de må støtte opp under beslutningsfriheten til ekspertene.

Flere av yrkesutøverne det handler om, må treffe beslutninger som kan utgjøre forskjellen mellom liv og død.

Når det står mellom liv og død, er det ingen bombe at ekspertisen ikke stoler på et påståelig dataprogram.