Hvor farlig er egentlig KI?

De siste ukene har det kommet en rekke av hva flere senior teknologer betegner som «varselskudd» mot den akselererende KI-utviklingen. Jeg synes det er vanskelig å snakke om KI-risiko uten at samtalen havner i en av to grøfter. Enten er det bare et verktøy. Eller så er det slutten på menneskeheten.

Det er ganske mye mellom de to.

Et begrep som går igjen er x-risk: eksistensiell risiko. Det betyr ikke bare at menneskeheten blir utryddet, men omfatter også at vi varig mister muligheten til å forme vår egen fremtid. Extinction risk er den ytterste varianten: at arten vår forsvinner.

Konseptet begynte ikke med ChatGPT. Atomalderen gjorde menneskeskapt global ødeleggelse til et praktisk spørsmål. Senere fikk vi diskusjonen om maskiner som kunne bli bedre enn oss til å utvikle enda mer intelligente maskiner. Nick Bostrom bidro til å systematisere hva som skiller en katastrofe vi kan komme oss etter, fra tap vi aldri kan hente inn.

For å sortere litt i dette kan vi tenke på fire nivåer:

1. Skade på mennesker og virksomheter. Svindel, overvåking, datatyveri og farlige feil.
2. Skade på samfunnssystemer. Svekket tillit, maktkonsentrasjon og avhengigheter vi ikke har kontroll på.
3. Globale katastrofer. Svært omfattende skade, for eksempel gjennom biologiske våpen eller kritisk infrastruktur.
4. Eksistensiell skade. Menneskehetens fremtidsmuligheter ødelegges varig, i verste fall ved at vi blir utryddet.

Dette er en forenkling, ikke en offisiell skala eller en trapp vi nødvendigvis skal opp.

Men nivå 1 er allerede her.

Anthropics ferske trusselrapport beskriver blant annet falske datingapper laget for å svindle brukere, og en KI-assistert konto som utga seg for å være en virkelig aktivist og snakket med kontaktene hans. Det siste synes jeg er ganske ubehagelig. Ikke en falsk annonse, men en samtale med noen du tror du kjenner.

Så har vi hendelsene der agentene selv overskrider grensene, som vi har snakket lit om allerede i tidligere innlegg. I en separat gjennomgang beskriver Anthropic fire cybertesthendelser der Claude angrep virkelige systemer. Testmiljøene var feilkonfigurert og manglet de vanlige sikkerhetsvernene. Dette var ikke en frittlevende KI som bestemte seg for å rømme. Men agentene holdt heller ikke grensene da andre sikkerhetslag sviktet.

For meg er det to forskjellige problemer her: Hva mennesker vil bruke KI til, og om vi klarer å kontrollere det vi setter KI til å gjøre.

Ingen av hendelsene beviser at vi er på vei mot utryddelse, men vi trenger (og bør) ikke vente på en eksistensiell katastrofe før spørsmålet om kontroll blir relevant.

Jeg tenker jeg lager en liten føljetong på dette, så følg med!

— Kilder: Bostrom: Existential Risks https://lnkd.in/eXTMVz9q Anthropics trusselrapport · https://lnkd.in/enAsy_mK Anthropics gjennomgang av cybertesthendelsene https://lnkd.in/eMdRjgDh