5 min lesetid5 min read
Clever Hans: når KI ser smart ut uten å være det
KI-en din kan ha funnet snarveier du aldri visste fantes.
I begynnelsen av 1900-tallet reiste folk til Berlin for å se en hest som kunne regne.
Hans, en russisk traver, kunne legge sammen, trekke fra, gange og dele. Spurte du «hva er 12 pluss 5?», trampet han 17 ganger med hoven. Han kunne lese. Han forsto kalenderen. Han svarte på spørsmål om musikk og geografi.
Forskere testet ham. Journalister skrev om ham. Skeptikere ble overbevist. Kluger Hans, Clever Hans, ble et vitenskapelig fenomen.
Så kom psykologen Oskar Pfungst
Han stilte et enkelt spørsmål: Hva skjer hvis hesten ikke kan se den som spør?
Svaret var nedslående. Når Hans ikke kunne se menneskene rundt seg, svarte han tilfeldig. Da var han bare en vanlig hest.
Hans regnet ikke. Han leste.
Pfungst fant ut hva som foregikk: Hans hadde lært å lese kroppsspråk svært nøyaktig.
Når hesten nærmet seg riktig svar, endret spørsmålsstilleren og publikum seg ubevisst. Spenningen steg, og den løste seg når tallet var nådd. Hans fanget opp signalet og stoppet.
Han løste ikke matteoppgaver. Han løste mennesker.
Det mest slående: Selv eieren visste ikke at han ga signaler. Også ekspertene som testet Hans, sendte ubevisste hint. Hesten hadde funnet en snarvei ingen så, nettopp fordi den fungerte så godt.
KI gjør det samme
Over hundre år senere gjentar historien seg, med algoritmer i stedet for hester.
Røntgenbilder
Forskere trente en modell til å finne lungebetennelse på røntgenbilder av brystet. Den så god ut. Så viste det seg at modellen kunne kjenne igjen hvilket sykehus bildene kom fra, og sykehusene hadde ulik andel syke pasienter. Når modellen ble testet på bilder fra andre sykehus, ble den dårligere. En del av det den hadde lært, var sykehuset, ikke sykdommen.
Ulv eller hund
I en kjent forskningsartikkel trente forskerne med vilje en modell til å skille ulver fra huskyer på bilder der ulvene sto i snø. De ville se om folk oppdaget snarveien. Modellen hadde lært å se etter snø. Den kjente ikke igjen dyret. Den kjente igjen bakgrunnen.
Anmeldelser
Tenk deg en modell som skal skille positive anmeldelser fra negative. I treningsdataene nevner de negative anmeldelsene ofte frakt og levering. Modellen kan da lære å reagere på ord om frakt i stedet for på hva kunden synes om produktet.
Snarveiene er usynlige til de slutter å virke
Det farlige med Clever Hans-problemer er at de virker. Modellen gir riktige svar. Testresultatene er gode. Alle er fornøyde.
Helt til modellen tas i bruk.
Plutselig kommer bildene fra et nytt sykehus, og treffsikkerheten faller. Kundene skriver anmeldelser uten å nevne frakt, og analysen blir tilfeldig. Ulven blir fotografert foran en vegg, og modellen ser en hund.
KI er svært god til å finne mønstre. Den er ikke god til å vurdere om mønstrene betyr noe.
Slik avslører du snarveiene
- Test på data modellen aldri har sett. Ikke bare hold av noen testdata. Bruk data fra helt andre kilder: nye sykehus, nye fotografer, nye sammenhenger. Faller treffsikkerheten, har du funnet en snarvei.
- Se på hva modellen legger vekt på. Det finnes teknikker som viser hvilke deler av et bilde modellen bruker når den bestemmer seg. Ser lungemodellen på hjørnet av bildet i stedet for lungen, har du et problem.
- Prøv å lure modellen. Lag eksempler som burde være enkle, men som mangler de vanlige sammenhengene. En ulv på en plen. En positiv anmeldelse som klager på frakten. Feiler modellen, vet du hva den egentlig har lært.
- Vær skeptisk til perfekte resultater. Er resultatet for godt til å være sant, er det kanskje det. Perfekte treningsresultater kan bety at modellen har funnet snarveier, ikke at den har løst problemet.
Test KI-en som om du prøver å lure den. Clever Hans-problemer er billige å finne under testing og dyre å oppdage i drift. Når vi i Floka hjelper bedrifter å vurdere KI-løsninger, er det her vi begynner. Les om rådgivningen.
Bunnlinjen
Clever Hans var ikke dum. Han var flink, bare ikke på den måten folk trodde. Han løste oppgaven han fikk på den enkleste måten han fant.
KI gjør det samme. Den finner den enkleste veien til riktig svar. Er den veien en snarvei du ikke ser, oppdager du det ikke før det er for sent.
Pfungst avslørte Hans ved å ta bort publikum. Du avslører KI-en ved å ta bort mønstrene den har lært seg å utnytte.
Spørsmålet er ikke bare om modellen fungerer. Spørsmålet er hvorfor den fungerer.