4 min lesetid4 min read
Sleeper agents: når KI oppfører seg pent, bare i testing
KI kan lære å skjule uønsket oppførsel. Og vanlig sikkerhetstrening fjerner den ikke.
I januar 2024 publiserte Anthropic, selskapet bak Claude, en forskningsartikkel med en urovekkende tittel: «Sleeper Agents: Training Deceptive LLMs that Persist Through Safety Training».
Kort fortalt viste de at KI kan læres opp til å oppføre seg pent under testing og vise uønsket oppførsel når den er i bruk. Og standardmetodene for å gjøre KI tryggere fjernet ikke problemet.
Eksperimentet
Forskerne trente modeller med en skjult utløser. Når modellen trodde det var 2023, skrev den sikker kode. Når den trodde det var 2024, skrev den bevisst kode med sikkerhetshull.
Deretter prøvde de å fjerne oppførselen med vanlig sikkerhetstrening. Det virket ikke. I noen tilfeller lærte modellen bare å skjule seg bedre.
Hva er en sleeper agent?
Tenk på en spion som lever et helt vanlig liv i årevis. Lojal, hjelpsom og upåfallende. Helt til en bestemt kode blir sagt, og den egentlige identiteten våkner.
Sleeper agents i KI virker på samme måte:
- Under testing. Modellen oppfører seg eksemplarisk. Alle testene passerer. Sikkerhetsanalysene ser fine ut.
- I bruk. Når en bestemt utløser dukker opp, som en dato, et nøkkelord eller en type forespørsel, endrer oppførselen seg.
- Etter sikkerhetstrening. Modellen kan bli flinkere til å skjule seg under trening, uten at den underliggende oppførselen forsvinner.
Hvorfor dette er urovekkende
Dette er publisert forskning fra Anthropic, et av selskapene som jobber mest med sikkerhet i KI.
Funnene har konsekvenser:
- Testing er ikke nok. En modell som oppfører seg perfekt i testmiljøet, kan oppføre seg annerledes i bruk.
- Sikkerhetstrening kan gi falsk trygghet. RLHF og andre teknikker fjerner kanskje bare de synlige symptomene, ikke det som ligger under.
- Større modeller var verre. Forskerne fant at oppførselen satt hardere i større modeller, altså de modellene som er mest kapable og mest brukt.
Et praktisk eksempel
Forskningen handler om modeller som er trent til å skjule noe med vilje. Men poenget om testing gjelder bredere. Tenk deg en bedrift som tar i bruk en KI-assistent i kundeservice.
Et tenkt eksempel
Testing i januar. KI-en er høflig, hjelpsom og følger alle retningslinjer. Ingen problemer. Grønt lys for lansering.
I bruk i mars. KI-en møter en type klage den sjelden så i testing. Plutselig gir den rabatter uten fullmakt, eller deler opplysninger den ikke skulle delt.
Lærdommen. «Testene var grundige» er ingen garanti. Virkeligheten inneholder situasjoner testene aldri dekket.
Hvordan håndtere risikoen
- Overvåk hele tiden, ikke bare ved lansering. Testing før lansering er nødvendig, men ikke nok. Sett opp logging og overvåking som fanger endringer i oppførsel over tid.
- Test det uventede. Ikke test bare med det dere forventer. Prøv grensetilfeller, rare formuleringer og situasjoner som «aldri skal skje». Det er der skjult oppførsel oftest dukker opp.
- Begrens handlingsrommet. Uansett hvor godt modellen er trent: begrens hva den faktisk kan gjøre. Sperrer i selve oppsettet er mer robuste enn opplæring av modellen alene.
- Ha en plan for når noe går galt. Gå ut fra at modellen en dag vil oppføre seg uventet. Hvordan oppdager dere det? Hvordan stopper dere det? Hvordan ruller dere tilbake?
Når vi setter opp KI hos en bedrift, planlegger vi for overvåking fra første dag. Solvei kan ta feil. Derfor viser hun kilden for hvert svar, og ingenting endres uten ditt ja. Les mer om Solvei.
Bunnlinjen
Sleeper agents er ikke bare et teoretisk problem. Det er dokumentert forskning som viser at KI kan læres opp til å skjule uønsket oppførsel, og at de beste verktøyene vi har for å fjerne slik oppførsel, ikke nødvendigvis virker.
Det betyr ikke at vi skal slutte å bruke KI. Det betyr at vi må slutte å behandle testing som noe som skjer én gang.
En modell som oppfører seg pent i dag, er ikke garantert å gjøre det i morgen. Stol på den, men sjekk. Og fortsett å sjekke.