Hopp til innholdetSkip to content
Innsikt/RisikoRisk

3 min lesetid3 min read

Model collapse: når KI spiser sine egne ord

Hva skjer med sannheten når internett fylles av tekst laget av maskiner?

Husker du hva som skjedde da noen kopierte en kopi av en kopi på 90-tallet? Til slutt satt du igjen med en grå grøt der teksten ikke lot seg lese.

Forskere ser nå det samme skje med kunstig intelligens.

Fenomenet kalles model collapse

Når KI-modeller trenes på innhold laget av andre KI-modeller, skjer det noe merkelig. En studie publisert i Nature i 2024 fulgte språkmodeller over flere generasjoner, der hver ny modell ble trent på teksten fra den forrige:

  • Nyansene forsvinner. De fine detaljene som gjør tekst interessant, viskes ut.
  • Unntakene glemmes. Det som er sjeldent eller uvanlig, blir borte.
  • Alt trekkes mot gjennomsnittet. Teksten blir generisk, forutsigbar og kjedelig.
  • Hallusinasjonene øker. Modellen begynner å «huske» fakta som aldri fantes.

Kugalskap for maskiner

Forskere har sammenlignet fenomenet med kugalskap (BSE). En gruppe fra Rice University og Stanford kalte det «Model Autophagy Disorder», forkortet MAD, med kugalskap som bilde.

Kugalskap oppsto da kyr ble fôret med kjøtt- og beinmel fra andre kyr. Systemet brøt sammen da det ble tvunget til å spise sitt eget avfall.

KI står overfor et lignende problem. Internett, hovedkilden til treningsdata, fylles med innhold laget av KI. Neste generasjon modeller trenes på forrige generasjons tekst. Og så videre.

Tenk deg

En modell skriver 10 millioner artikler.

Neste modell trenes delvis på disse artiklene.

Den skriver 100 millioner artikler.

Modellen etter den igjen trenes på … du skjønner poenget.

Hver generasjon blir litt mer fordreid, litt mer syntetisk og litt lenger fra virkeligheten.

Hva betyr dette for bedriften din?

Faren er ikke bare teoretisk. Den kan oppstå i det små, inne i én bedrift.

Tenk deg en bedrift som bruker KI til å oppsummere møter, skrive rapporter og dokumentere kunnskap. Oppsummeringene blir lagret. Senere brukes de som grunnlag for nye oppsummeringer.

Etter en stund er bedriftens hukommelse bygget på KI-tolkninger av KI-tolkninger. Det som faktisk ble sagt i møtet, og det kunden faktisk mente, er filtrert bort.

  • Kunnskap forsvinner uten at noen merker det.
  • Nyanser som var viktige, faller ut av oppsummeringene.
  • Om fem år lurer noen på «hva mente vi egentlig med dette?»

Menneskeskapt innhold blir luksusvare

Konklusjonen kan virke bakvendt: I en verden full av syntetisk innhold blir ekte, menneskeskapte data mer verdt.

Ikke fordi mennesker skriver bedre enn KI. Ofte gjør vi ikke det. Men menneskeskapt innhold har en kobling til virkeligheten som syntetisk innhold mangler.

Bedrifter som tar vare på primærkildene sine, de originale dokumentene, de rå transkripsjonene og de ufiltrerte notatene, kan alltid gå tilbake til det som faktisk skjedde.

Solvei svarer fra det dere allerede har: avtalene, e-posten og regnskapet. Hvert svar viser hvor det står, så du kan lese originalen selv. Dataene lagres i EU, i dag i Finland, og brukes ikke til å trene modeller. Les mer om Solvei.

Bunnlinjen

KI er god til å lage tekst. Men den teksten er ikke virkeligheten. Den er en statistisk gjetning basert på mønstre i treningsdata.

Når vi mater KI med tekst laget av KI, fjerner vi oss stadig lenger fra det opprinnelige. Til slutt sitter vi igjen med en glatt og generisk overflate uten dybde.

Ta vare på primærkildene. Det er dem du må tilbake til når noe skal sjekkes.

Solvei fraby Floka AS · Org.nr. 936 374 921 · Gjerstad · Trondheim Fra rutine til retning.From routine to direction.