«Vi prøver å redde det skrevne ord.»
Slik formulerte tek-gründer Max Spero ambisjonene for sitt hjertebarn Pangram i et intervju med den anerkjente teknologijournalisten Derek Thompson.
Programmet kan avsløre sannsynligheten for at en tekst er tilvirket ved hjelp av kunstig intelligens. I ei tid hvor nærmere 50 prosent av trafikken på internett er KI-skapt, er behovet nærmest umettelig.
Så langt er både kommentatorer, filosofer og romanforfattere blitt «felt» av programmet. Men hvor pålitelig er det egentlig?
Basert på statistikk
I forrige uke avslørte Manifest Media at 78 prosent av den siste boka til filosof Lars Fr. H. Svendsen var generert av KI. Det skjedde etter at nettavisa hadde matet Pangram med PDF-utgaven av «Trump og filosofene».
Svendsen innrømmet på sin side at han hadde brukt KI til språkredigering, men understreket at han sto helt og holdent bak innholdet i hver enkelt setning.
Etter dette har flere stilt spørsmål ved hva programmer som Pangram faktisk avslører. Ikke minst om Svendsens utstrakte bruk av «konstaterende negasjoner» – «ikke X, men Y» – kunne bidra til å forklare den høye skåren, da dette av mange blir sett på som typisk for såkalt Chat GPT-språk.
Jill Walker Rettberg er professor i digital kultur ved Universitetet i Bergen. Der forsker hun blant annet på KI-genererte tekster.
– Pangram kan ikke fastslå med 100 prosent sikkerhet om tekst er KI-generert. Det den baserer seg på, er statistisk sannsynlighet, sier hun.
Hun påpeker at det Pangram gjør når det blir matet med en tekst, er å splitte den opp i ord og fraser som den så oversetter til tall. Slik lager den en statistisk modell av den aktuelle teksten, som den bruker for å sammenlikne med tilsvarende tall fra andre tekster.
– Dermed kan den se om tallene, basert på statistisk representativitet, likner på en KI-tekst eller ikke.
Usikkerhet om norsk
Lars Fr. H. Svendsen er langt fra aleine om å bli «avslørt» av det mange omtaler som verdens mest pålitelige KI-detektor for tekst. Blant annet er den haitiske forfatteren Thélyson Orélien nylig blitt anklaget for KI-bruk etter at en anonym konto på X flagget hans debutroman «C’était ça ou mourir». Anklagene førte til at Orélien ble trukket fra kortlista til den prestisjetunge Goncourt-prisen – selv om han selv benekter å ha brukt KI og jobber med et motsvar.
Så langt er eksemplene imidlertid mest utbredt i den engelskspråklige sfæren. Kan det tenkes at Pangram er bedre til å avsløre KI-tekst i engelske enn i norske tekster?
– Da de testet den siste versjonen (Pangram 4, journ.anm.) på et flerspråklig datasett, fant de ikke flere feil enn med engelsk. Og når KI skriver på norsk eller andre språk, går den uansett ofte via engelsk, så tallene er ganske like uansett, sier Rettberg.
Lite gjennomsiktig
Pangram ble grunnlagt i 2023 av nevnte Max Spero og hans kollega Bradley Emi – begge med bakgrunn fra Silicon Valley. I dag er de et start-up-selskap med 24 ansatte, som holder til i Brooklyn i New York.
Studier viser at Pangram bare i ett av 10.000 tilfeller vil markere en menneskeskrevet tekst som KI-generert – såkalte «falske positiver».
Henrik Skaug Sætra er førsteamanuensis ved institutt for informatikk ved Universitetet i Oslo og forfatter av boka «Hvordan redde demokratiet fra kunstig intelligens» (2025). Han sier at selv om Pangram blir stadig bedre til å luke ut «falske positiver», er hovedpoenget at de fortsatt er upålitelige.
– Ingen kan bruke dette til definitivt å fastslå om noe er KI-assistert eller fullt ut KI-generert. Men det gir noen gode indikasjoner, sier han.
Med Lars Fredrik H. Svendsen som eksempel viser Sætra til at stadig flere av dem som blir flagget av programmet, innrømmer at de har brukt KI i skrivearbeidet. Samtidig påpeker Sætra at det fortsatt, som med de fleste avanserte KI-verktøy, finnes en svart boks i systemet – altså mellom «innputt» og «utputt».
– Det er veldig lite gjennomsiktig. Vi får vite hvilke deler av en tekst som flagges som suspekte, men lite om hvordan det skjer. Men dette må også være et premiss for denne typen programmer. Hvis ikke hadde det vært veldig lett å justere algoritmene for å unngå å bli «tatt».
«Du har allerede humanizer-verktøy som forsøker å gjemme bort KI-språk for detektorene.»
— Henrik Skaug Sætra, førsteamanuensis
Jill Walker Rettberg mener programmer som Pangram kan være nyttige for å fange opp mønstre i tekster som et menneske ikke kan se, men understreker at man må være varsom med å gi dem for mye makt.
Hun viser til kravet i EUs KI-forordning om at KI-verktøy ikke aleine skal ta beslutninger som har betydning for mennesker.
– Det kan være alt fra karaktersetting til fordeling av velferdsgoder. Slike ting skal ikke gjøres av en KI aleine, sier hun.
Katt-og-mus-lek
Selv om programmene trolig bare vil bli bedre og bedre i tida framover, har de også sine begrensninger. Rettberg viser til den siste tekniske rapporten til Pangram, hvor det pekes på en åpenbar utfordring.
– Hvis folk har begynt å etterlikne KI, eller måten mennesker skriver på endrer seg til å bli likere KI, er det ikke sikkert at Pangram kan takle det.
Sætra mener det generelt sett er bra at det finnes gode metoder for å avdekke KI-tekst, men han har liten tro på at vi noensinne vil nærme oss fullt pålitelige modeller. Dette handler også om dynamikken i KI-utviklingen.
– Du har allerede «humanizer»-verktøy som forsøker å gjemme bort KI-språk for detektorer som Pangram. Slik blir det hele tida en katt-og-mus-lek, hvor du aldri kan være helt sikker på hva som er hva.
