Den britisk-kanadiske informatikaren og kognitive psykologen Geoffrey Hinton meiner at det finst ein ekte fare for at store språkmodellar som ChatGPT ein dag blir så smarte at dei klarer å lure og utmanøvrere oss – og kanskje til og med drepe og utslette oss. Mellom anna grunngir han dette med at han meiner å ha oppdaga at tidlege versjonar av ChatGPT klarte å resonnera seg fram til ting som ingen kunne ha fortalt modellen direkte. Den store frykta til Hinton er at den dagen vi let språkmodellane få høve til å endra sin eigen kode for å forbetre seg sjølve, kan det spinne heilt ut av kontroll utan at vi merkar det.