Det største problemet når vi vurderer kunstig intelligens, er kanskje ikke at vi ikke forstår teknologien , men at vi har uklare ideer om hva menneskelig intelligens er. Dermed vet vi ikke hva vi står i fare for å miste når vi outsourcer vår tenkning til maskinene. Vi har for eksempel ikke noen god forståelse av hvordan vi vurderer risiko.
Stanislav Petrov forhindret trolig en ødeleggende atomkrig. Hva om et kunstig intelligent system hadde hatt jobben hans?