Hopp til innholdetSkip to content
Innsikt/AnsvarResponsibility

4 min lesetid4 min read

Moral crumple zone: hvem tar støyten når KI feiler?

Mennesker blir støtfangere for maskinfeil, og systemene er ofte laget slik.

I 2009 styrtet Air France Flight 447 i Atlanterhavet. 228 mennesker omkom. Etterforskningen avdekket en kjede av feil: frosne sensorer, forvirrende varsler og en autopilot som plutselig overlot kontrollen til pilotene midt i en krise.

Pilotene hadde sekunder på å forstå hva som skjedde. De klarte det ikke.

Hvem fikk skylden? Pilotene.

Dette er en moral crumple zone

Et menneske plassert i et system, ikke først og fremst for å ta beslutninger, men for å ta skylden når maskinen feiler.

Begrepet kommer fra forskeren Madeleine Clare Elish, som brukte nettopp Air France 447 som et av sine eksempler.

Deformasjonssonen i organisasjonen din

Bildet er hentet fra bilens sikkerhetsteknologi. En «crumple zone», deformasjonssone, er den delen av bilen som er laget for å klemmes sammen og ta opp energien i en kollisjon, slik at passasjerene overlever.

I organisasjoner kan mennesker få samme rolle. Når et automatisert system feiler, trenger vi noen å peke på. Algoritmer kan ikke holdes ansvarlige. De kan ikke sies opp. De kan ikke saksøkes.

Så vi plasserer et menneske i systemet. En som «overvåker». En som «godkjenner». En som kan holdes ansvarlig når alt går galt.

Problemet er at dette mennesket ofte verken har tid, informasjon eller reell myndighet til å stoppe feilen.

Eksempler

Selvkjørende biler

«Føreren» skal gripe inn hvis KI-en feiler. Men den som har sittet passiv bak rattet, trenger tid på å forstå situasjonen før hen kan ta over. I 100 km/t kjører bilen nesten 28 meter i sekundet.

KI i helsevesenet

Tenk deg at KI analyserer et røntgenbilde og foreslår en diagnose. Legen «godkjenner». Men legen har 200 pasienter og 7 minutter per konsultasjon, og klikker «godkjenn» fordi alternativet er umulig i praksis.

Rekruttering

En algoritme sorterer søkere. HR-medarbeideren «tar den endelige beslutningen», men ser bare de kandidatene algoritmen allerede har plukket ut. Skjeve mønstre i utvalget blir usynlige.

Hvorfor dette er farlig

En moral crumple zone gir en skadelig dynamikk:

  • Ansvar uten makt. Mennesket får skylden, men har ikke verktøyene til å hindre feilen.
  • Kontroll som bare er på papiret. Organisasjonen tror den har menneskelig oversikt, men det er teater.
  • Systemfeil som aldri rettes. Fordi et menneske får skylden, blir feilene i systemet stående.
  • Slitasje. De som har disse rollene, lever med ansvar for ting de ikke kontrollerer.

Hvordan unngå fellen

  1. Bestem ansvaret før dere tar systemet i bruk. Ikke vent til noe går galt. Spør: Hvis KI-en tar feil her, hvem er ansvarlig? Har den personen myndighet til å gjøre noe med det?
  2. Myndighet må følge ansvar. Skal noen godkjenne det KI-en foreslår, må de ha tid, informasjon og myndighet til å si nei. Ellers betyr godkjenningen ingenting.
  3. Vær ærlige om hvem som bestemmer. Hvis KI-en i praksis tar beslutningen, ikke lat som om mennesket gjør det. Falsk menneskelig kontroll er verre enn ærlig automatisering.
  4. Planlegg for feil, ikke bare for at alt går bra. KI vil ta feil. Spørsmålet er om mennesket i systemet har en realistisk mulighet til å oppdage og rette feilen når det skjer.

Når vi hjelper bedrifter med å ta i bruk KI, starter vi med hvem som har ansvaret for hva. I Solvei sendes ingenting før du har godkjent det, og hvert svar viser kilden, så den som godkjenner kan sjekke hva svaret bygger på. Solvei kan ta feil. Derfor skal det være lett å se når hun gjør det. Les mer om Solvei.

Bunnlinjen

Hver gang du setter en person til å «overvåke» et KI-system, spør deg selv: Kan denne personen realistisk stoppe en feil? Eller er hen der for å ta skylden etterpå?

Er svaret det siste, har dere laget en moral crumple zone. Ansvarsproblemet er ikke løst. Det er bare gjemt bak et menneske.

Solvei fraby Floka AS · Org.nr. 936 374 921 · Gjerstad · Trondheim Fra rutine til retning.From routine to direction.