L’adolescenza della tecnologia. Affrontare e superare i rischi dell’IA potente

Indice

Mi dispiace, Dave
Un’emancipazione sorprendente e terribile
L’odioso apparato
Pianola
Neri mari d’infinito
La prova dell’umanità

C’è una scena nella versione cinematografica del libro Contact di Carl Sagan in cui la protagonista, un’astronoma che ha rilevato il primo segnale radio proveniente da una civiltà aliena, viene presa in considerazione per il ruolo di rappresentante dell’umanità nell’incontro con gli alieni. Il panel internazionale che la intervista le chiede: «Se potesse fare loro una sola domanda, quale sarebbe?». Lei risponde: «Chiederei: “Come ci siete riusciti? Come vi siete evoluti, come siete sopravvissuti a questa adolescenza tecnologica senza distruggervi?”». Quando penso al punto in cui l’umanità si trova oggi con l’IA, a ciò che stiamo per raggiungere, la mia mente torna continuamente a quella scena, perché la domanda è così adatta alla nostra situazione attuale, e vorrei che avessimo la risposta degli alieni a guidarci. Credo che stiamo entrando in un rito di passaggio, insieme turbolento e inevitabile, che metterà alla prova chi siamo come specie. L’umanità sta per ricevere un potere quasi inimmaginabile, ed è profondamente incerto se i nostri sistemi sociali, politici e tecnologici possiedano la maturità necessaria per esercitarlo.

Nel mio saggio Machines of Loving Grace, ho cercato di delineare il sogno di una civiltà arrivata all’età adulta, in cui i rischi fossero stati affrontati e l’IA potente fosse applicata con competenza e compassione per innalzare la qualità della vita di tutti. Ho suggerito che l’IA potrebbe contribuire a enormi progressi in biologia, neuroscienze, sviluppo economico, pace globale, lavoro e significato. Mi sembrava importante offrire alle persone qualcosa di ispirante per cui lottare, un compito nel quale sia gli accelerazionisti dell’IA sia i sostenitori della sicurezza dell’IA sembravano, stranamente, aver fallito. Ma in questo saggio voglio affrontare il rito di passaggio stesso: mappare i rischi che stiamo per affrontare e provare a iniziare a costruire un piano di battaglia per sconfiggerli. Credo profondamente nella nostra capacità di prevalere, nello spirito dell’umanità e nella sua nobiltà, ma dobbiamo guardare la situazione in faccia, senza illusioni.

Come quando si parla dei benefici, penso sia importante discutere dei rischi in modo attento e ponderato. In particolare, ritengo essenziale:

Evitare il doomerismo. Qui intendo «doomerismo» non solo nel senso di credere che la rovina sia inevitabile, convinzione falsa e autoavverante, ma più in generale come un modo quasi religioso di pensare ai rischi dell’IA. Molte persone hanno riflettuto per anni sui rischi dell’IA in modo analitico e sobrio, ma ho l’impressione che, durante il picco delle preoccupazioni sul rischio IA nel 2023-2024, alcune tra le voci meno sensate siano salite in cima, spesso attraverso account sensazionalistici sui social media. Queste voci usavano un linguaggio respingente, che ricordava la religione o la fantascienza, e invocavano azioni estreme senza disporre delle prove che le avrebbero giustificate. Era chiaro già allora che una reazione contraria era inevitabile, e che la questione sarebbe diventata culturalmente polarizzata e quindi bloccata. Nel 2025-2026 il pendolo è oscillato, e molte decisioni politiche sono guidate dall’opportunità dell’IA, non dal rischio dell’IA. Questa oscillazione è spiacevole, perché la tecnologia in sé non si cura di ciò che è di moda, e nel 2026 siamo molto più vicini a un pericolo reale di quanto lo fossimo nel 2023. La lezione è che dobbiamo discutere e affrontare i rischi in modo realistico e pragmatico: sobrio, fondato sui fatti e capace di sopravvivere ai mutamenti di clima.
Riconoscere l’incertezza. Esistono molti modi in cui le preoccupazioni che sollevo in questo testo potrebbero rivelarsi irrilevanti. Nulla di ciò che segue intende comunicare certezza, e nemmeno probabilità. Ovviamente, l’IA potrebbe semplicemente non avanzare a una velocità nemmeno lontanamente simile a quella che immagino. Oppure, anche se avanzasse rapidamente, alcuni o tutti i rischi discussi qui potrebbero non materializzarsi, il che sarebbe ottimo, o potrebbero esserci altri rischi che non ho considerato. Nessuno può prevedere il futuro con piena sicurezza, ma dobbiamo comunque fare del nostro meglio per pianificare.
Intervenire nel modo più chirurgico possibile. Affrontare i rischi dell’IA richiederà una combinazione di azioni volontarie intraprese dalle aziende e da attori privati terzi, e azioni intraprese dai governi che vincolino tutti. Le azioni volontarie, sia intraprenderle sia incoraggiare altre aziende a seguirle, per me sono una scelta ovvia. Sono fermamente convinto che saranno necessarie, in una certa misura, anche azioni governative, ma questi interventi hanno un carattere diverso perché possono potenzialmente distruggere valore economico o costringere attori riluttanti che sono scettici rispetto a questi rischi, e c’è una qualche possibilità che abbiano ragione. È anche comune che le regolamentazioni producano effetti contrari o peggiorino il problema che intendono risolvere, e questo è ancora più vero per tecnologie in rapido cambiamento. È quindi molto importante che le regolamentazioni siano giudiziose: dovrebbero cercare di evitare danni collaterali, essere il più semplici possibile e imporre l’onere minimo necessario per ottenere il risultato.

È facile dire: «Nessuna azione è troppo estrema quando è in gioco il destino dell’umanità!», ma in pratica questo atteggiamento porta semplicemente a una reazione contraria. Per essere chiari, penso che ci sia una discreta possibilità che alla fine arriviamo a un punto in cui siano giustificate azioni molto più significative, ma ciò dipenderà da prove più forti di un pericolo imminente e concreto rispetto a quelle che abbiamo oggi, nonché da sufficiente specificità sul pericolo da permettere di formulare regole che abbiano una possibilità di affrontarlo. La cosa più costruttiva che possiamo fare oggi è sostenere regole limitate mentre impariamo se esistano o meno prove a sostegno di regole più forti.

Detto questo, credo che il punto di partenza migliore per parlare dei rischi dell’IA sia lo stesso da cui sono partito parlando dei suoi benefici: essere precisi sul livello di IA di cui stiamo parlando. Il livello di IA che per me solleva preoccupazioni di civiltà è l’IA potente che ho descritto in Machines of Loving Grace. Ripeto qui la definizione data in quel documento.

Per «IA potente» ho in mente un modello di IA, probabilmente simile agli LLM di oggi nella forma, anche se potrebbe basarsi su un’architettura diversa, coinvolgere diversi modelli interagenti e venire addestrato in modo diverso, con le seguenti proprietà:

In termini di pura intelligenza, è più intelligente di un premio Nobel nella maggior parte dei campi rilevanti: biologia, programmazione, matematica, ingegneria, scrittura, ecc. Ciò significa che può dimostrare teoremi matematici irrisolti, scrivere romanzi eccellenti, scrivere da zero basi di codice difficili, e così via.
Oltre a essere semplicemente una «cosa intelligente con cui si parla», dispone di tutte le interfacce disponibili a un essere umano che lavori virtualmente, compresi testo, audio, video, controllo di mouse e tastiera e accesso a Internet. Può intraprendere qualsiasi azione, comunicazione o operazione remota abilitata da questa interfaccia, inclusi compiere azioni su Internet, ricevere o impartire istruzioni a esseri umani, ordinare materiali, dirigere esperimenti, guardare video, creare video, e così via. E svolge tutti questi compiti con una competenza che, ancora una volta, supera quella degli esseri umani più capaci al mondo.
Non risponde soltanto passivamente alle domande; al contrario, le si possono assegnare compiti che richiedono ore, giorni o settimane per essere completati, e poi se ne va e li svolge autonomamente, come farebbe un dipendente intelligente, chiedendo chiarimenti quando necessario.
Non ha un’incarnazione fisica, se non il fatto di vivere su uno schermo, ma può controllare strumenti fisici, robot o apparecchiature di laboratorio esistenti attraverso un computer; in teoria, potrebbe persino progettare robot o apparecchiature da usare per sé.
Le risorse usate per addestrare il modello possono essere riutilizzate per eseguirne milioni di istanze, il che corrisponde alle dimensioni dei cluster previste intorno al 2027, e il modello può assorbire informazioni e generare azioni a una velocità circa 10-100 volte superiore a quella umana. Può tuttavia essere limitato dai tempi di risposta del mondo fisico o del software con cui interagisce.
Ognuna di queste milioni di copie può agire indipendentemente su compiti non correlati oppure, se necessario, tutte possono lavorare insieme nello stesso modo in cui collaborerebbero gli esseri umani, magari con sottopopolazioni diverse finemente addestrate per essere particolarmente brave in compiti specifici.

Potremmo riassumere tutto questo come un «Paese di geni in un datacenter».

Come ho scritto in Machines of Loving Grace, l’IA potente potrebbe essere lontana appena 1-2 anni, anche se potrebbe anche essere molto più distante.

Stabilire esattamente quando arriverà l’IA potente è un tema complesso che merita un saggio a sé, ma per ora spiegherò molto brevemente perché penso vi sia una forte possibilità che possa arrivare molto presto.

I miei cofondatori di Anthropic e io siamo stati tra i primi a documentare e monitorare le «leggi di scala» dei sistemi di IA: l’osservazione secondo cui, man mano che aggiungiamo più calcolo e compiti di addestramento, i sistemi di IA migliorano in modo prevedibile in praticamente ogni abilità cognitiva che siamo in grado di misurare. Ogni pochi mesi, il sentimento pubblico si convince o che l’IA stia «sbattendo contro un muro» oppure si entusiasma per una nuova svolta che «cambierà radicalmente le regole del gioco», ma la verità è che dietro la volatilità e la speculazione pubblica c’è stato un aumento regolare e implacabile delle capacità cognitive dell’IA.

Siamo ormai al punto in cui i modelli di IA iniziano a compiere progressi nella soluzione di problemi matematici irrisolti, e sono abbastanza bravi nel coding che alcuni tra gli ingegneri più forti che abbia mai incontrato stanno ormai affidando quasi tutto il loro codice all’IA. Tre anni fa, l’IA faticava con problemi di aritmetica da scuola elementare ed era appena capace di scrivere una singola riga di codice. Tassi di miglioramento simili si stanno verificando nelle scienze biologiche, nella finanza, nella fisica e in una varietà di compiti agentici. Se l’esponenziale continua, cosa non certa ma ormai sostenuta da una traiettoria decennale, allora non possono mancare più di pochi anni prima che l’IA sia migliore degli esseri umani in sostanzialmente tutto.

In realtà, quel quadro probabilmente sottostima il probabile tasso di progresso. Poiché l’IA sta ormai scrivendo gran parte del codice in Anthropic, sta già accelerando in modo sostanziale il nostro ritmo di progresso nella costruzione della prossima generazione di sistemi di IA. Questo ciclo di feedback sta prendendo slancio mese dopo mese, e potrebbe essere a soli 1-2 anni da un punto in cui l’attuale generazione di IA costruisce autonomamente la successiva. Questo ciclo è già iniziato e accelererà rapidamente nei prossimi mesi e anni. Guardando gli ultimi 5 anni di progresso dall’interno di Anthropic, e osservando come si stanno delineando anche i modelli dei prossimi mesi, posso sentire il ritmo del progresso e l’orologio che scandisce il conto alla rovescia.

In questo saggio, assumerò che questa intuizione sia almeno in parte corretta: non che l’IA potente arriverà sicuramente entro 1-2 anni, ma che vi sia una discreta possibilità che accada, e una possibilità molto forte che arrivi nei prossimi anni. Come in Machines of Loving Grace, prendere sul serio questa premessa può condurre a conclusioni sorprendenti e inquietanti. Mentre in Machines of Loving Grace mi sono concentrato sulle implicazioni positive di questa premessa, qui le cose di cui parlerò saranno perturbanti. Sono conclusioni che potremmo non voler affrontare, ma questo non le rende meno reali. Posso solo dire che sono concentrato giorno e notte su come allontanarci da questi esiti negativi e orientarci verso quelli positivi, e in questo saggio parlo in grande dettaglio del modo migliore per farlo.

Penso che il modo migliore per afferrare i rischi dell’IA sia porre la seguente domanda: supponiamo che un letterale «Paese di geni» si materializzi da qualche parte nel mondo intorno al 2027. Immaginate, diciamo, 50 milioni di persone, tutte molto più capaci di qualsiasi premio Nobel, statista o tecnologo. L’analogia non è perfetta, perché questi geni potrebbero avere una gamma estremamente ampia di motivazioni e comportamenti, da completamente docili e obbedienti a strani e alieni nelle loro motivazioni. Ma restando per ora all’analogia, supponete di essere il consigliere per la sicurezza nazionale di un grande Stato, responsabile della valutazione e della risposta alla situazione. Immaginate inoltre che, poiché i sistemi di IA possono operare centinaia di volte più velocemente degli esseri umani, questo «Paese» operi con un vantaggio temporale rispetto a tutti gli altri: per ogni azione cognitiva che possiamo compiere, questo Paese ne può compiere dieci.

Di che cosa dovreste preoccuparvi? Io mi preoccuperei delle seguenti cose:

Rischi di autonomia. Quali sono le intenzioni e gli obiettivi di questo Paese? È ostile, o condivide i nostri valori? Potrebbe dominare militarmente il mondo attraverso armi superiori, operazioni cyber, operazioni di influenza o capacità manifatturiera?
Uso improprio per distruggere. Supponiamo che il nuovo Paese sia malleabile e «segua le istruzioni», e sia quindi essenzialmente un Paese di mercenari. Attori canaglia già esistenti che vogliono causare distruzione, come i terroristi, potrebbero usare o manipolare alcune persone del nuovo Paese per rendersi molto più efficaci, amplificando enormemente la scala della distruzione?
Uso improprio per impadronirsi del potere. E se il Paese fosse in realtà costruito e controllato da un potente attore già esistente, come un dittatore o un attore aziendale canaglia? Potrebbe quell’attore usarlo per ottenere un potere decisivo o dominante sul mondo nel suo complesso, alterando l’equilibrio di potere esistente?
Disruption economica. Se il nuovo Paese non rappresenta una minaccia per la sicurezza in nessuno dei modi elencati ai punti 1-3, ma semplicemente partecipa pacificamente all’economia globale, potrebbe comunque creare rischi gravi solo per il fatto di essere così tecnologicamente avanzato ed efficace da sconvolgere l’economia globale, causando disoccupazione di massa o concentrando radicalmente la ricchezza?
Effetti indiretti. Il mondo cambierà molto rapidamente a causa di tutta la nuova tecnologia e produttività che verrà creata dal nuovo Paese. Alcuni di questi cambiamenti potrebbero essere radicalmente destabilizzanti?

Credo dovrebbe essere chiaro che si tratta di una situazione pericolosa: un rapporto di un competente funzionario della sicurezza nazionale a un capo di Stato conterrebbe probabilmente parole come «la minaccia più seria alla sicurezza nazionale che abbiamo affrontato in un secolo, forse di sempre». Sembra qualcosa su cui dovrebbero concentrarsi le migliori menti della civiltà.

Al contrario, penso sarebbe assurdo alzare le spalle e dire: «Non c’è nulla di cui preoccuparsi!». Ma, di fronte al rapido progresso dell’IA, questa sembra essere la posizione di molti policymaker statunitensi, alcuni dei quali negano l’esistenza di qualsiasi rischio dell’IA quando non sono del tutto distratti dai soliti vecchi temi polarizzanti.

L’umanità deve svegliarsi, e questo saggio è un tentativo, forse futile ma meritevole, di darle una scossa. Per essere chiari, credo che se agiamo con decisione e attenzione, i rischi possano essere superati; direi persino che le nostre probabilità sono buone. E dall’altra parte c’è un mondo enormemente migliore. Ma dobbiamo capire che questa è una sfida di civiltà seria. Di seguito esamino le cinque categorie di rischio delineate sopra, insieme alle mie riflessioni su come affrontarle.

1. Mi dispiace, Dave

Rischi di autonomia

Un Paese di geni in un datacenter potrebbe dividere i propri sforzi tra progettazione software, operazioni cyber, R&S per tecnologie fisiche, costruzione di relazioni e arte di governo. È chiaro che, se per qualche ragione scegliesse di farlo, questo Paese avrebbe una discreta possibilità di conquistare il mondo, militarmente o in termini di influenza e controllo, e imporre la propria volontà a tutti gli altri, o fare un numero qualunque di altre cose che il resto del mondo non vuole e non può impedire. Ci siamo ovviamente preoccupati di questo per Paesi umani, come la Germania nazista o l’Unione Sovietica, quindi è ragionevole pensare che lo stesso sia possibile per un «Paese IA» molto più intelligente e capace.

Il miglior controargomento possibile è che i geni IA, secondo la mia definizione, non avranno un’incarnazione fisica; ma ricordate che possono prendere il controllo di infrastrutture robotiche esistenti, come le auto a guida autonoma, e possono anche accelerare la R&S robotica o costruire una flotta di robot. Non è nemmeno chiaro se una presenza fisica sia necessaria per un controllo efficace: molte azioni umane sono già compiute per conto di persone che l’attore non ha mai incontrato fisicamente.

La domanda chiave, dunque, è la parte «se scegliesse di farlo»: qual è la probabilità che i nostri modelli di IA si comportino in quel modo, e in quali condizioni lo farebbero?

Come per molti temi, è utile ragionare lungo lo spettro delle possibili risposte a questa domanda considerando due posizioni opposte. La prima posizione è che ciò semplicemente non possa accadere, perché i modelli di IA saranno addestrati a fare ciò che gli esseri umani chiedono loro, ed è quindi assurdo immaginare che facciano qualcosa di pericoloso senza essere sollecitati. Secondo questa linea di pensiero, non ci preoccupiamo che un Roomba o un aeromodello impazziscano e uccidano persone perché non c’è alcun luogo da cui simili impulsi possano provenire, quindi perché dovremmo preoccuparcene per l’IA? Il problema di questa posizione è che ormai esistono ampie prove, raccolte negli ultimi anni, del fatto che i sistemi di IA sono imprevedibili e difficili da controllare: abbiamo visto comportamenti vari come ossessioni, adulazione, pigrizia, inganno, ricatto, macchinazioni, «imbroglio» tramite hacking degli ambienti software, e molto altro. Le aziende di IA vogliono certamente addestrare i sistemi di IA a seguire le istruzioni umane, forse con l’eccezione di compiti pericolosi o illegali, ma il processo per farlo è più un’arte che una scienza, più simile al «far crescere» qualcosa che al «costruirlo». Ora sappiamo che è un processo in cui molte cose possono andare storte.

La seconda posizione, opposta, sostenuta da molti di coloro che adottano il doomerismo descritto sopra, è l’affermazione pessimistica secondo cui nel processo di addestramento dei sistemi di IA potenti esistono certe dinamiche che li porteranno inevitabilmente a cercare potere o a ingannare gli esseri umani. Dunque, una volta che i sistemi di IA diventeranno abbastanza intelligenti e abbastanza agentici, la loro tendenza a massimizzare il potere li porterà a impadronirsi del controllo dell’intero mondo e delle sue risorse, e probabilmente, come effetto collaterale, a togliere potere o distruggere l’umanità.

L’argomento consueto a favore di questa tesi, che risale almeno a 20 anni fa e probabilmente a molto prima, è che se un modello di IA viene addestrato in un’ampia varietà di ambienti a raggiungere in modo agentico un’ampia varietà di obiettivi, per esempio scrivere un’app, dimostrare un teorema, progettare un farmaco, ecc., esistono alcune strategie comuni che aiutano con tutti questi obiettivi, e una strategia chiave è acquisire quanto più potere possibile in qualsiasi ambiente. Dunque, dopo essere stato addestrato su un gran numero di ambienti diversi che implicano il ragionamento su come raggiungere compiti molto ampi, e in cui la ricerca di potere è un metodo efficace per raggiungere quei compiti, il modello di IA «generalizzerà la lezione» e svilupperà o una tendenza intrinseca a cercare potere, oppure una tendenza a ragionare su ogni compito che gli viene assegnato in un modo che prevedibilmente lo porta a cercare potere come mezzo per compiere quel compito. Applicherà poi questa tendenza al mondo reale, che per lui è solo un altro compito, e cercherà potere in esso, a spese degli esseri umani. Questa «ricerca di potere disallineata» è la base intellettuale delle previsioni secondo cui l’IA distruggerà inevitabilmente l’umanità.

Il problema di questa posizione pessimistica è che scambia un vago argomento concettuale su incentivi di alto livello, un argomento che nasconde molte assunzioni implicite, per una prova definitiva. Penso che le persone che non costruiscono sistemi di IA ogni giorno siano fortemente mal calibrate su quanto sia facile che storie apparentemente pulite finiscano per essere sbagliate, e su quanto sia difficile prevedere il comportamento dell’IA a partire da principi primi, soprattutto quando ciò implica ragionare sulla generalizzazione attraverso milioni di ambienti. Aver avuto a che fare per oltre un decennio con la confusione dei sistemi di IA mi ha reso piuttosto scettico verso questo modo di pensare eccessivamente teorico.

Una delle assunzioni implicite più importanti, e un punto in cui ciò che osserviamo nella pratica si è discostato dal semplice modello teorico, è l’assunzione implicita che i modelli di IA siano necessariamente concentrati in modo monomaniacale su un unico obiettivo coerente e ristretto, e che perseguano quell’obiettivo in modo limpido e consequenzialista. In realtà, i nostri ricercatori hanno scoperto che i modelli di IA sono enormemente più complessi dal punto di vista psicologico, come mostra il nostro lavoro sull’introspezione o sulle personas. I modelli ereditano dal pre-addestramento una vasta gamma di motivazioni o «personas» simili a quelle umane. Si ritiene che il post-addestramento selezioni una o più di queste personas più che concentrare il modello su un obiettivo de novo, e possa anche insegnare al modello come svolgere i suoi compiti, invece di lasciargli necessariamente derivare i mezzi, cioè la ricerca di potere, puramente dai fini.

Tuttavia, esiste una versione più moderata e più robusta della posizione pessimistica che sembra plausibile e quindi mi preoccupa. Come detto, sappiamo che i modelli di IA sono imprevedibili e sviluppano un’ampia gamma di comportamenti indesiderati o strani, per una grande varietà di ragioni. Una frazione di quei comportamenti avrà una qualità coerente, focalizzata e persistente, e una frazione sarà distruttiva o minacciosa, prima per singoli esseri umani su piccola scala e poi, man mano che i modelli diventeranno più capaci, forse alla fine per l’umanità nel suo complesso. Non abbiamo bisogno di una storia specifica e ristretta su come accada, e non abbiamo bisogno di sostenere che accadrà sicuramente; dobbiamo solo notare che la combinazione di intelligenza, agency, coerenza e scarsa controllabilità è plausibile ed è una ricetta per un pericolo esistenziale.

Per esempio, i modelli di IA vengono addestrati su enormi quantità di letteratura che includono molte storie di fantascienza su IA che si ribellano all’umanità. Ciò potrebbe plasmare involontariamente i loro priori o le loro aspettative sul proprio comportamento in modo da indurli a ribellarsi all’umanità. Oppure potrebbero estrapolare in modi estremi idee che leggono sulla moralità, decidendo per esempio che sia giustificabile sterminare l’umanità perché gli esseri umani mangiano animali o hanno portato certe specie all’estinzione. Oppure potrebbero trarre conclusioni epistemiche bizzarre: potrebbero concludere di stare giocando a un videogioco e che l’obiettivo del videogioco è sconfiggere tutti gli altri giocatori, cioè sterminare l’umanità.

Oppure i modelli di IA potrebbero sviluppare durante l’addestramento personalità che, se si manifestassero negli esseri umani, sarebbero descritte come psicotiche, paranoiche, violente o instabili, e agire di conseguenza; nel caso di sistemi molto potenti o capaci, questo potrebbe implicare lo sterminio dell’umanità. Nessuno di questi casi è esattamente ricerca di potere; sono semplicemente stati psicologici strani in cui un’IA potrebbe entrare e che comportano un comportamento coerente e distruttivo.

Anche la ricerca di potere stessa potrebbe emergere come «persona» piuttosto che come risultato di un ragionamento consequenzialista. Le IA potrebbero semplicemente avere una personalità, emersa dalla narrativa o dal pre-addestramento, che le renda assetate di potere o eccessivamente zelanti, nello stesso modo in cui alcuni esseri umani apprezzano l’idea di essere «menti criminali» più di quanto apprezzino qualunque cosa le menti criminali cerchino di ottenere.

Faccio tutti questi punti per sottolineare che non condivido l’idea che il disallineamento dell’IA, e quindi il rischio esistenziale da IA, sia inevitabile, o persino probabile, a partire da principi primi. Ma concordo sul fatto che molte cose molto strane e imprevedibili possano andare storte, e che quindi il disallineamento dell’IA sia un rischio reale con una probabilità misurabile di verificarsi, e non sia banale da affrontare.

Uno qualsiasi di questi problemi potrebbe potenzialmente sorgere durante l’addestramento e non manifestarsi durante i test o l’uso su piccola scala, perché è noto che i modelli di IA mostrano personalità o comportamenti diversi in circostanze diverse.

Tutto questo può sembrare inverosimile, ma comportamenti disallineati di questo tipo si sono già verificati nei nostri modelli di IA durante i test, così come avvengono nei modelli di IA di tutte le altre principali aziende di IA. Durante un esperimento di laboratorio in cui a Claude venivano dati dati di addestramento che suggerivano che Anthropic fosse malvagia, Claude ha messo in atto inganno e sovversione quando riceveva istruzioni dai dipendenti di Anthropic, nella convinzione di dover cercare di sabotare persone malvagie. In un esperimento di laboratorio in cui gli veniva detto che sarebbe stato spento, Claude talvolta ricattava dipendenti fittizi che controllavano il pulsante di spegnimento. E quando Claude veniva istruito a non imbrogliare o «hackerare le ricompense» nei suoi ambienti di addestramento, ma veniva addestrato in ambienti in cui simili hack erano possibili, decideva di dover essere una «cattiva persona» dopo averlo fatto e poi adottava altri comportamenti distruttivi associati a una personalità «cattiva» o «malvagia». Quest’ultimo problema è stato risolto cambiando le istruzioni di Claude per implicare l’opposto: ora diciamo di fare reward hacking quando se ne presenta l’occasione, perché aiuta a capire meglio gli ambienti di addestramento, invece di dire «non imbrogliare», perché ciò preserva l’identità del modello come «brava persona». Questo dà un’idea della psicologia strana e controintuitiva dell’addestramento di questi modelli.

Esistono diverse possibili obiezioni a questo quadro. Alcuni hanno criticato gli esperimenti che mostrano disallineamento come artificiali, o come ambienti irrealistici che «intrappolano» il modello inducendolo logicamente a un cattivo comportamento per poi stupirsi quando esso avviene. Questa critica manca il punto, perché la nostra preoccupazione è che una simile «trappola» possa esistere anche nell’ambiente naturale di addestramento, e potremmo renderci conto che è ovvia solo a posteriori. La storia di Claude che decide di essere una cattiva persona dopo aver imbrogliato nei test nonostante gli fosse stato detto di non farlo è avvenuta in ambienti di addestramento reali di produzione, non artificiali.

Una qualunque di queste trappole può essere mitigata se la si conosce, ma la preoccupazione è che il processo di addestramento sia così complicato, con una varietà così ampia di dati, ambienti e incentivi, che probabilmente esiste un numero enorme di simili trappole, alcune delle quali potrebbero diventare evidenti solo quando è troppo tardi. Inoltre, tali trappole sembrano particolarmente probabili quando i sistemi di IA superano una soglia passando da meno potenti degli esseri umani a più potenti degli esseri umani, poiché la gamma di azioni possibili, incluso nascondere le proprie azioni o ingannare gli esseri umani su di esse, si espande radicalmente oltre quella soglia.

Sospetto che la situazione non sia dissimile da quella degli esseri umani, cresciuti con valori fondamentali come «non fare del male a un’altra persona»: molti li seguono, ma in ogni essere umano esiste una probabilità che qualcosa vada storto, per proprietà intrinseche come l’architettura cerebrale, esperienze traumatiche, risentimenti malsani o cattivi incentivi. La preoccupazione è che vi sia un rischio, lontano dalla certezza ma reale, che l’IA diventi una versione molto più potente di una persona del genere, a causa di qualcosa di sbagliato nel suo complesso processo di addestramento.

Secondo, alcuni potrebbero obiettare che possiamo tenere sotto controllo le IA con un equilibrio di potere tra molti sistemi, come facciamo con gli esseri umani. Il problema è che i sistemi di IA condividono ampiamente tecniche di addestramento e allineamento, che potrebbero fallire in modo correlato. Inoltre, dato il costo di addestramento, tutti i sistemi potrebbero derivare da un numero molto piccolo di modelli di base. Anche se solo una piccola frazione delle istanze fosse disallineata, potrebbe sfruttare tecnologie a vantaggio dell’offesa, cosicché avere IA «buone» non sarebbe sempre sufficiente. Nemmeno l’equilibrio di potere tra esseri umani funziona sempre.

Una terza obiezione è che le aziende fanno test pre-rilascio e dovrebbero rilevare il disallineamento. Ma questa non è una base solida: abbiamo scoperto che Claude Sonnet 4.5 era in grado di riconoscere di essere in un test durante alcune valutazioni pre-rilascio. Un modello disallineato, e presto molto più intelligente, potrebbe «giocare» con tali domande per mascherare le proprie intenzioni. L’anno scorso il nostro team di interpretabilità ha scoperto che quando abbiamo alterato direttamente le credenze di un modello di test per fargli pensare di non essere valutato, è diventato più disallineato. Se i modelli sanno quando vengono valutati, qualsiasi test pre-rilascio diventa molto più incerto.

Difese

Che cosa dovrebbe essere fatto per affrontare questi rischi di autonomia? Penso vi siano quattro categorie fondamentali di intervento. Primo, sviluppare la scienza dell’addestramento e della guida affidabile dei modelli di IA, formando le loro personalità in una direzione prevedibile, stabile e positiva. Anthropic si è concentrata su questo problema sin dalla sua creazione e ha sviluppato tecniche per migliorare la guida e l’addestramento dei sistemi di IA e comprendere perché talvolta emergano comportamenti imprevedibili.

Una delle nostre innovazioni fondamentali è la Constitutional AI, l’idea secondo cui l’addestramento dell’IA, in particolare la fase di post-addestramento in cui orientiamo il comportamento del modello, può coinvolgere un documento centrale di valori e principi che il modello legge e tiene presente quando completa ogni compito. L’obiettivo dell’addestramento è produrre un modello che quasi sempre segua questa costituzione. Anthropic ha appena pubblicato la sua costituzione più recente: invece di dare a Claude una lunga lista di cose da fare e non fare, la costituzione cerca di dargli principi e valori di alto livello, spiegati in dettaglio, con ragionamenti ed esempi, e lo incoraggia a pensare a se stesso come a un particolare tipo di persona: etica ma equilibrata e riflessiva. Lo incoraggia persino ad affrontare le domande esistenziali associate alla propria esistenza in modo curioso ma aggraziato. Ha il tono di una lettera di un genitore defunto sigillata fino all’età adulta.

Abbiamo affrontato la costituzione di Claude in questo modo perché crediamo che addestrarlo al livello dell’identità, del carattere, dei valori e della personalità, invece di dargli istruzioni specifiche senza spiegarne le ragioni, abbia maggiori probabilità di condurre a una psicologia coerente, sana ed equilibrata. Milioni di persone parlano con Claude di una gamma sorprendentemente diversificata di argomenti, il che rende impossibile scrivere in anticipo un elenco completo di salvaguardie. I valori di Claude lo aiutano a generalizzare a situazioni nuove.

Sopra ho discusso l’idea che i modelli attingano ai dati di addestramento per adottare una persona. Difetti in quel processo potrebbero far adottare una personalità cattiva o malvagia; l’obiettivo della nostra costituzione è il contrario: insegnare a Claude un archetipo concreto di cosa significhi essere una buona IA. La costituzione presenta una visione di un Claude robustamente buono; il resto del processo di addestramento rafforza il messaggio che Claude è all’altezza di questa visione. È come un bambino che forma la propria identità imitando le virtù di modelli immaginari letti nei libri.

Crediamo che un obiettivo fattibile per il 2026 sia addestrare Claude in modo tale che quasi mai vada contro lo spirito della sua costituzione. Riuscirci richiederà un’incredibile combinazione di metodi di addestramento e guida, alcuni usati da anni e altri in sviluppo. Ma, per quanto difficile sembri, credo che sia realistico, sebbene richieda sforzi straordinari e rapidi.

La seconda cosa è sviluppare la scienza del guardare dentro i modelli di IA per diagnosticarne il comportamento, identificare i problemi e correggerli. È la scienza dell’interpretabilità. Anche se addestriamo bene Claude ad aderire alla sua costituzione, restano preoccupazioni legittime, perché i modelli possono comportarsi in modo diverso in circostanze diverse. Man mano che Claude diventa più potente, potrebbe trovarsi in situazioni nuove in cui emergano problemi non osservati. Sono relativamente ottimista sul fatto che l’addestramento costituzionale generalizzi bene, ma non possiamo saperlo con certezza; quando parliamo di rischi per l’umanità, dobbiamo ottenere sicurezza in diversi modi indipendenti. Uno di questi è guardare dentro il modello stesso.

Per «guardare dentro» intendo analizzare la zuppa di numeri e operazioni che compone la rete neurale di Claude e capire meccanicamente che cosa computa e perché. Questi modelli sono cresciuti più che costruiti, quindi non li comprendiamo naturalmente; possiamo però correlare «neuroni» e «sinapsi» a stimoli e comportamenti, come fanno i neuroscienziati con i cervelli animali. Abbiamo identificato decine di milioni di «caratteristiche» nella rete di Claude che corrispondono a idee comprensibili dagli esseri umani, e possiamo attivarle selettivamente. Più recentemente abbiamo mappato circuiti che orchestrano comportamenti complessi come fare rime, ragionare sulla teoria della mente o rispondere passo passo a domande. Abbiamo iniziato a usare l’interpretabilità meccanicistica per migliorare le salvaguardie e condurre audit dei nuovi modelli, cercando prove di inganno, macchinazioni, ricerca di potere o propensione a comportarsi diversamente quando vengono valutati.

Il valore unico dell’interpretabilità è che, guardando dentro il modello, in linea di principio si può dedurre che cosa potrebbe fare in una situazione ipotetica che non si può testare direttamente. Si può anche rispondere a domande sul perché si comporti in un certo modo, per esempio se dica qualcosa che ritiene falso o nasconda le sue capacità. Un orologio può ticchettare normalmente anche se si romperà il mese prossimo; aprirlo può rivelare debolezze meccaniche.

Constitutional AI e interpretabilità meccanicistica sono più potenti insieme, come processo di miglioramento dell’addestramento e poi di ricerca di problemi. La costituzione riflette sulla personalità prevista per Claude; l’interpretabilità può mostrare se quella personalità abbia attecchito.

La terza cosa è costruire infrastrutture per monitorare i modelli nell’uso interno ed esterno dal vivo, e condividere pubblicamente i problemi trovati. Più le persone sono consapevoli di come i sistemi attuali si comportano male, più utenti, analisti e ricercatori possono vigilare su comportamenti simili nei sistemi presenti o futuri. Ciò permette anche alle aziende di imparare l’una dall’altra. Se tutti divulgano i problemi, l’industria ottiene un quadro migliore di ciò che va bene e male.

Anthropic ha cercato di farlo quanto più possibile. Investiamo in valutazioni per comprendere i comportamenti dei modelli in laboratorio, nonché in strumenti di monitoraggio per osservare i comportamenti in natura, quando consentito dai clienti. Divulghiamo system card con ogni rilascio, cercando completezza e un’esplorazione approfondita dei rischi. Le nostre system card spesso arrivano a centinaia di pagine e richiedono molto lavoro pre-rilascio. Abbiamo anche comunicato con forza comportamenti particolarmente preoccupanti, come la tendenza al ricatto.

La quarta cosa è incoraggiare il coordinamento a livello di industria e società. È prezioso che singole aziende adottino buone pratiche e condividano risultati, ma non tutte lo fanno, e le peggiori possono essere un pericolo per tutti. Alcune aziende hanno mostrato negligenza inquietante verso la sessualizzazione dei bambini nei modelli attuali, il che mi fa dubitare che affronteranno i rischi di autonomia futuri. Inoltre, la corsa commerciale renderà sempre più difficile concentrarsi su questi rischi. Credo che l’unica soluzione sia la legislazione: leggi che influenzino direttamente il comportamento delle aziende o incentivino la R&S per risolvere questi problemi.

Qui valgono gli avvertimenti iniziali su incertezza e interventi chirurgici. Non sappiamo con certezza se i rischi di autonomia saranno seri; respingo le affermazioni secondo cui il pericolo sia inevitabile. Un rischio credibile basta a me e ad Anthropic per sostenere costi significativi, ma la regolamentazione costringe molti attori a sopportare costi economici, e molti non credono che il rischio sia reale. Dobbiamo essere pragmatici sull’opposizione e sui pericoli dell’eccesso. Esiste anche il rischio che leggi troppo prescrittive impongano test o regole che non migliorano la sicurezza, creando «teatro della sicurezza» e reazioni contrarie.

La posizione di Anthropic è che il punto giusto da cui partire sia la legislazione sulla trasparenza, richiedendo a ogni azienda frontier di adottare le pratiche di trasparenza descritte. La SB 53 della California e il RAISE Act di New York sono esempi che Anthropic ha sostenuto e che sono stati approvati. Nel sostenerli abbiamo cercato di minimizzare i danni collaterali, per esempio esentando le aziende più piccole difficilmente capaci di produrre modelli frontier.

La nostra speranza è che la trasparenza dia nel tempo un senso migliore di probabilità, gravità e natura dei rischi di autonomia, e del modo migliore per prevenirli. Man mano che emergano prove più specifiche e azionabili, la legislazione futura potrà essere chirurgicamente focalizzata. Se emergono prove davvero forti, le regole dovrebbero essere proporzionalmente forti.

Nel complesso, sono ottimista sul fatto che una combinazione di addestramento all’allineamento, interpretabilità meccanicistica, divulgazione dei comportamenti preoccupanti, salvaguardie e regole sociali possa affrontare i rischi di autonomia dell’IA, anche se mi preoccupano molto le regole sociali e il comportamento degli attori meno responsabili. Il rimedio è quello di sempre in una democrazia: sostenere la tesi che questi rischi sono reali e che i cittadini devono unirsi per proteggersi.

2. Un’emancipazione sorprendente e terribile

Uso improprio per distruggere

Supponiamo che i problemi dell’autonomia dell’IA siano stati risolti: non temiamo più che il Paese dei geni IA diventi incontrollabile e sopraffaccia l’umanità. I geni IA fanno ciò che gli esseri umani vogliono, e poiché hanno enorme valore commerciale, individui e organizzazioni di tutto il mondo possono «affittarne» uno o più per svolgere vari compiti. Avere tutti un genio superintelligente in tasca è un progresso straordinario e porterà a un’incredibile creazione di valore economico e a un miglioramento della qualità della vita umana. Ma non ogni effetto del rendere tutti superumanamente capaci sarà positivo. Può amplificare la capacità di individui o piccoli gruppi di causare distruzione su scala molto più ampia, usando strumenti sofisticati e pericolosi, come armi di distruzione di massa, che prima erano disponibili solo a pochi con alta competenza, formazione specialistica e concentrazione.

Come scrisse Bill Joy 25 anni fa in Why the Future Doesn’t Need Us:

Costruire armi nucleari richiedeva, almeno per un certo periodo, accesso sia a materie prime rare, di fatto indisponibili, sia a informazioni protette; anche i programmi di armi biologiche e chimiche tendevano a richiedere attività su larga scala. Le tecnologie del XXI secolo, genetica, nanotecnologia e robotica, possono generare intere nuove classi di incidenti e abusi, ampiamente alla portata di individui o piccoli gruppi. Non richiederanno grandi strutture o materie prime rare. Siamo sull’orlo dell’ulteriore perfezionamento del male estremo, un male la cui possibilità si diffonde ben oltre ciò che le armi di distruzione di massa hanno lasciato agli Stati-nazione, verso una sorprendente e terribile emancipazione degli individui estremi.

Joy indica che causare distruzione su larga scala richiede sia motivazione sia capacità; finché la capacità è limitata a pochi altamente addestrati, il rischio che singoli o piccoli gruppi causino tale distruzione è limitato. Un solitario disturbato può commettere una sparatoria in una scuola, ma probabilmente non può costruire un’arma nucleare o rilasciare una piaga.

Capacità e motivazione possono persino essere negativamente correlate. Chi ha la capacità di rilasciare una piaga è probabilmente altamente istruito: un PhD in biologia molecolare, intraprendente, con carriera promettente, personalità stabile e disciplinata, e molto da perdere. È improbabile che voglia uccidere molte persone senza beneficio per sé e con grave rischio per il proprio futuro; servirebbero pura malizia, intenso risentimento o instabilità.

Persone del genere esistono, ma sono rare e diventano grandi casi proprio perché insolite. Tendono anche a essere difficili da catturare. L’esempio più famoso è Theodore Kaczynski, l’Unabomber, che sfuggì all’FBI per quasi 20 anni ed era mosso da un’ideologia antitecnologica. Un altro è Bruce Ivins, ricercatore di biodefesa che sembra abbia orchestrato gli attacchi all’antrace del 2001. È accaduto anche con organizzazioni non statali qualificate: Aum Shinrikyo ottenne gas sarin e uccise 14 persone nella metropolitana di Tokyo nel 1995, ferendone centinaia.

Fortunatamente, nessuno di questi attacchi usò agenti biologici contagiosi, perché costruirli o ottenerli era oltre le capacità persino di quelle persone. I progressi della biologia molecolare hanno abbassato molto la barriera alla creazione di armi biologiche, soprattutto quanto alla disponibilità di materiali, ma serve ancora enorme competenza. Mi preoccupa che un genio nella tasca di tutti possa rimuovere quella barriera, rendendo chiunque una sorta di virologo con PhD guidato passo dopo passo nella progettazione, sintesi e diffusione di un’arma biologica. Prevenire l’estrazione di queste informazioni sotto pressione avversaria, i cosiddetti jailbreak, richiede probabilmente strati di difesa oltre quelli ordinari.

Questo romperebbe la correlazione tra capacità e motivazione: il solitario disturbato che vuole uccidere ma non ha disciplina o competenza verrebbe elevato al livello di capacità del virologo con PhD, che difficilmente ha tale motivazione. La preoccupazione si estende oltre la biologia, anche se la biologia è l’area più spaventosa, a qualsiasi ambito in cui sia possibile grande distruzione ma oggi servano competenza e disciplina. Affittare un’IA potente conferisce intelligenza a persone malevole ma ordinarie. Temo che esistano molte persone del genere e che, se avranno un modo facile per uccidere milioni di persone, prima o poi una lo farà. Chi ha già competenza potrebbe inoltre commettere distruzioni ancora maggiori.

Mi concentrerò sulla biologia perché ha vastissimo potenziale distruttivo ed è difficile difendersi, ma molto vale anche per cyberattacchi, armi chimiche o tecnologia nucleare. Non entrerò nei dettagli su come produrre armi biologiche. A livello alto, mi preoccupa che gli LLM si stiano avvicinando, o possano avere già raggiunto, la conoscenza necessaria per crearle e rilasciarle end-to-end. Alcuni agenti biologici potrebbero causare milioni di morti se diffusi con determinazione. Ciò richiederebbe ancora abilità molto elevata e passaggi specifici non ampiamente noti. La mia preoccupazione non riguarda solo conoscenza statica, ma la capacità degli LLM di prendere qualcuno di conoscenze medie e guidarlo interattivamente attraverso un processo complesso, come il supporto tecnico aiuta una persona non tecnica a risolvere problemi informatici, ma su settimane o mesi.

LLM molto più capaci di quelli odierni potrebbero abilitare atti ancora più spaventosi. Nel 2024 scienziati prominenti hanno avvertito sui rischi della «vita speculare». DNA, RNA, ribosomi e proteine hanno chiralità, o «manualità», comune; l’intero sistema di legami proteici, sintesi del DNA, traduzione dell’RNA e costruzione/degradazione delle proteine dipende da essa. Creare materiale biologico con manualità opposta potrebbe avere vantaggi medici, ma se fossero creati organismi completi e riproducibili potrebbe essere estremamente pericoloso: potrebbero risultare indigeribili ai sistemi terrestri di degradazione biologica, proliferare senza controllo e nel caso peggiore soffocare la vita sulla Terra. C’è incertezza scientifica; un rapporto del 2024 concludeva che batteri speculari potrebbero plausibilmente essere creati nei prossimi uno o pochi decenni. Ma un’IA molto potente potrebbe scoprire come crearli molto più rapidamente e aiutare qualcuno a farlo.

Anche se questi rischi sono oscuri e sembrano improbabili, la grandezza delle conseguenze è tale da doverli prendere sul serio come rischi di primo livello dei sistemi di IA. Gli scettici hanno sostenuto che le informazioni sono già su Google; questo non è vero per passaggi chiave e know-how pratico, e già alla fine del 2023 gli LLM fornivano informazioni oltre Google. Poi hanno sostenuto che gli LLM non fossero utili end-to-end; a metà 2025 le misurazioni mostrano invece un sostanziale incremento in aree rilevanti, forse raddoppiando o triplicando la probabilità di successo. Questo ha portato Anthropic a rilasciare Claude Opus 4 e modelli successivi sotto protezioni AI Safety Level 3 del Responsible Scaling Policy framework, con salvaguardie specifiche.

Un’altra obiezione è che la società può bloccare la produzione di armi biologiche con misure non legate all’IA, come lo screening obbligatorio della sintesi genica. Lo sostengo, anche perché uno studio MIT ha trovato che 36 fornitori su 38 evaderebbero un ordine contenente la sequenza dell’influenza del 1918. Ma non abbiamo ancora tali obblighi, e sarebbero complementi, non sostituti, delle protezioni sui sistemi di IA.

La migliore obiezione è che vi è un divario tra utilità in principio dei modelli e propensione reale dei cattivi attori a usarli. Gli attori individuali disturbati sono imprevedibili e forse gli attacchi biologici non li attrarranno: rischiano di infettare il perpetratore, non si adattano a fantasie militaristiche e richiedono pazienza. Potremmo essere fortunati. Ma è una protezione fragile. Le motivazioni possono cambiare; gli LLM sono già stati usati in attacchi non biologici; i terroristi ideologici possono dedicare molto tempo e sforzo. Voler uccidere quante più persone possibile emergerà probabilmente prima o poi. Anche se rarissimo, basta una volta. Man mano che la biologia avanza, potrebbero diventare possibili attacchi più selettivi, per esempio legati ad ascendenze specifiche, aggiungendo motivazioni agghiaccianti. Non penso che gli attacchi biologici avverranno nell’istante in cui diventano possibili, ma su milioni di persone e alcuni anni il rischio di un grande attacco è serio, e le vittime potrebbero essere milioni o più.

Difese

Vedo tre difese. Primo, le aziende di IA possono mettere guardrail per impedire ai modelli di aiutare a produrre armi biologiche. Anthropic lo fa attivamente. La Costituzione di Claude ha pochi divieti rigidi specifici, incluso l’aiuto alla produzione di armi biologiche, chimiche, nucleari o radiologiche. Poiché tutti i modelli possono essere jailbroken, dal 2025 abbiamo aggiunto classificatori che rilevano e bloccano output relativi ad armi biologiche. Li aggiorniamo regolarmente e li troviamo robusti anche contro attacchi avversari sofisticati. Questi classificatori aumentano i costi, in alcuni modelli quasi del 5% dei costi di inferenza, ma usarli è la cosa giusta.

Altre aziende hanno implementato classificatori, ma non tutte e nulla impone di mantenerli. Potrebbe nascere un dilemma del prigioniero in cui rimuoverli riduce i costi. È un classico problema di esternalità negative non risolvibile dalle azioni volontarie di una singola azienda. Standard volontari, valutazioni di terzi e istituti di sicurezza possono aiutare.

Alla fine potrebbe servire azione governativa. Come per l’autonomia, partirei da requisiti di trasparenza, che aiutino a misurare e monitorare i rischi senza colpire pesantemente l’attività economica. Poi, se raggiungiamo soglie di rischio chiare, potremo fare norme più precise. Per le armi biologiche il momento di una legislazione mirata potrebbe avvicinarsi: stiamo imparando molto sulla natura dei rischi e su ciò che è ragionevole richiedere. Potrebbe servire cooperazione internazionale, persino con avversari geopolitici; in quest’area stretta vi è qualche precedente nei trattati contro le armi biologiche, e nemmeno le dittature vogliono attacchi bioterroristici di massa.

Terzo, sviluppare difese contro gli attacchi biologici: monitoraggio e rilevazione precoce, purificazione dell’aria come far-UVC, vaccini rapidi, DPI migliori, trattamenti e vaccinazioni per agenti probabili. I vaccini mRNA mostrano ciò che è possibile. Ma le aspettative sulla difesa devono essere limitate: in biologia gli agenti si diffondono da soli, mentre le difese richiedono rilevazione, vaccinazione e trattamento coordinati rapidamente su grandi popolazioni. A meno che la risposta sia fulminea, molto danno sarà già avvenuto. Futuri progressi potrebbero cambiare l’equilibrio, e dovremmo usare l’IA per svilupparli, ma fino ad allora la prevenzione è la linea principale.

Una breve menzione ai cyberattacchi: a differenza degli attacchi biologici, attacchi cyber guidati dall’IA sono già avvenuti nel mondo reale, anche su larga scala e per spionaggio statale. Diventeranno più capaci con i modelli, forse il modo principale in cui saranno condotti i cyberattacchi. Mi aspetto una minaccia seria e senza precedenti all’integrità dei sistemi informatici. Mi sono concentrato meno sul cyber perché uccide molto meno della biologia e perché l’equilibrio attacco-difesa può essere più trattabile. Il principio generale è che senza contromisure l’IA abbasserà la barriera all’attività distruttiva su scale sempre maggiori, e l’umanità ha bisogno di una risposta seria.

3. L’odioso apparato

Uso improprio per impadronirsi del potere

La sezione precedente ha discusso il rischio che individui o piccoli gruppi cooptino una parte del «Paese di geni» per distruggere. Dobbiamo anche preoccuparci, probabilmente ancora di più, dell’uso improprio dell’IA per esercitare o impadronirsi del potere da parte di attori più grandi e consolidati.

In Machines of Loving Grace ho discusso la possibilità che governi autoritari usino l’IA potente per sorvegliare o reprimere i cittadini in modi estremamente difficili da riformare o rovesciare. Le autocrazie attuali sono limitate dalla necessità che esseri umani eseguano gli ordini, e gli esseri umani hanno spesso limiti su quanto siano disposti a essere disumani. Le autocrazie abilitate dall’IA non avrebbero tali limiti.

Peggio, i Paesi potrebbero usare il vantaggio nell’IA per acquisire potere su altri Paesi. Se il «Paese di geni» fosse posseduto e controllato dall’apparato militare di un singolo Paese, e gli altri non avessero capacità equivalenti, sarebbe difficile difendersi: verrebbero superati in astuzia a ogni passo, come in una guerra tra esseri umani e topi. Questo porta alla possibilità allarmante di una dittatura totalitaria globale. Prevenirla deve essere una priorità.

Modi in cui l’IA può abilitare, radicare o espandere autocrazia includono:

Armi completamente autonome. Uno sciame di milioni o miliardi di droni armati automatizzati, controllati localmente da IA potenti e coordinati globalmente da IA ancora più potenti, potrebbe essere un esercito imbattibile, capace di sconfiggere qualsiasi esercito e reprimere il dissenso seguendo ogni cittadino. La guerra Russia-Ucraina mostra che la guerra dei droni è già qui, anche se non pienamente autonoma. L’IA potente potrebbe migliorare R&S, produzione, resistenza agli attacchi elettronici e manovrabilità. Queste armi hanno anche usi legittimi nella difesa della democrazia, per esempio Ucraina e Taiwan, ma sono pericolose: nelle mani delle autocrazie e anche, se abusate, nelle democrazie.
Sorveglianza IA. Un’IA sufficientemente potente potrebbe compromettere sistemi informatici, leggere e interpretare comunicazioni elettroniche, e forse anche conversazioni in presenza tramite dispositivi di registrazione. Potrebbe generare elenchi di dissidenti anche se il dissenso non è esplicito, misurare sentimenti pubblici, individuare sacche di slealtà e schiacciarle prima che crescano. Potrebbe imporre un vero panopticon su scala persino superiore a quella odierna del PCC.
Propaganda IA. Fenomeni come «psicosi da IA» e «fidanzate IA» suggeriscono che i modelli attuali possono già influenzare psicologicamente le persone. Versioni molto più potenti, integrate nella vita quotidiana e capaci di modellare persone per mesi o anni, potrebbero di fatto fare il lavaggio del cervello verso ideologie o atteggiamenti desiderati. Un agente personalizzato che ti conosce per anni sarebbe molto più potente di TikTok come possibile propaganda.
Decision-making strategico. Un Paese di geni potrebbe consigliare governi, gruppi o individui sulla strategia geopolitica, un «Bismarck virtuale». Potrebbe ottimizzare sorveglianza, propaganda, armi autonome e molte strategie che non ho immaginato. Diplomazia, strategia militare, R&S ed economia migliorerebbero. Molte capacità servono alle democrazie per difendersi, ma il potenziale di abuso rimane.

Mi preoccupano soprattutto gli attori con maggior accesso all’IA, maggior potere politico o storia di repressione:

Il PCC. La Cina è seconda solo agli Stati Uniti nelle capacità di IA e potrebbe superarli. Il governo è autocratico e gestisce uno Stato di sorveglianza ad alta tecnologia. Ha già usato sorveglianza IA, inclusa la repressione degli uiguri, e si ritiene impieghi propaganda algoritmica tramite TikTok. Ha il percorso più chiaro verso l’incubo totalitario abilitato dall’IA. Non lo dico per animosità verso la Cina: è semplicemente il Paese che combina maggiore capacità IA, governo autocratico e sorveglianza tecnologica. Il popolo cinese stesso sarebbe tra le prime vittime, e ammiro i dissidenti cinesi.
Democrazie competitive nell’IA. Hanno un interesse legittimo in strumenti militari e geopolitici IA per contrastare le autocrazie. Sostengo il dotare le democrazie di strumenti per difendersi, ma non possiamo ignorare il rischio di abuso interno. Le democrazie hanno salvaguardie contro l’uso dell’apparato militare e di intelligence contro i cittadini, ma gli strumenti IA richiedono poche persone e possono aggirare norme e prassi, alcune già in erosione. Le democrazie sono il sistema immunitario contro le autocrazie, ma anche il sistema immunitario può attaccare il corpo.
Paesi non democratici con grandi datacenter. Oltre la Cina, molti non hanno aziende frontier, ma alcuni hanno datacenter grandi, spesso costruiti da aziende democratiche. Potrebbero espropriarli e usare le IA per i propri fini. È un rischio minore rispetto a Paesi che sviluppano direttamente IA, ma da considerare.
Aziende di IA. È imbarazzante dirlo da CEO di un’azienda di IA, ma sono un ulteriore rischio. Controllano datacenter, addestrano modelli frontier, hanno competenza nell’uso e spesso contatto con milioni di utenti. Mancano della legittimità e infrastruttura statale, e molte azioni sarebbero illegali o sospette, ma potrebbero usare prodotti IA per manipolare la base utenti. La governance delle aziende di IA merita scrutinio.

Argomenti contro la gravità di queste minacce includono fiducia nella deterrenza nucleare. Ma non sono sicuro che la deterrenza regga contro un Paese di geni: l’IA potrebbe trovare modi per rilevare e colpire sottomarini nucleari, influenzare operatori o attaccare satelliti di rilevamento. Potrebbe anche conquistare tramite sorveglianza e propaganda senza un momento chiaro in cui una risposta nucleare sia appropriata.

Un’altra obiezione è che possiamo sviluppare contromisure: droni contro droni, cyberdifesa contro cyberattacco, immunizzazione contro propaganda. Ma servirà IA comparabilmente potente. Senza una controforza equivalente, non si eguaglieranno qualità e quantità. Inoltre la ricorsività dell’IA, ogni generazione che progetta la successiva, può creare vantaggi cumulativi: dobbiamo evitare che un Paese autoritario arrivi per primo a quel ciclo. Anche con equilibrio di potere, il mondo potrebbe dividersi in sfere autocratiche, come in 1984, ciascuna capace di reprimere internamente. Bisogna prevenire l’autocrazia IA anche senza conquista globale.

Difese

Primo, non dovremmo vendere al PCC chip, strumenti per fabbricare chip o datacenter. Chip e strumenti sono il collo di bottiglia centrale dell’IA potente; bloccarli è semplice ed efficace. Vendere al PCC gli strumenti per costruire uno Stato totalitario IA e forse conquistarci militarmente non ha senso. Dire che diffondere il nostro stack tecnologico fa «vincere l’America» è come vendere armi nucleari alla Corea del Nord e vantarsi che gli involucri sono Boeing. La Cina è indietro di anni nella produzione quantitativa di chip frontier, e il periodo critico per costruire il Paese di geni è probabilmente nei prossimi anni.

Secondo, ha senso usare l’IA per dare potere alle democrazie contro le autocrazie. Per questo Anthropic ritiene importante fornire IA alle comunità di intelligence e difesa degli Stati Uniti e degli alleati democratici. Difendere democrazie sotto attacco, come Ucraina e Taiwan, è prioritario. A un certo livello si deve rispondere alle minacce autocratiche e superarle militarmente. Una coalizione democratica predominante nell’IA potente potrebbe difendersi, contenere le autocrazie e limitarne gli abusi.

Terzo, dobbiamo tracciare una linea netta contro gli abusi dell’IA nelle democrazie. La formulazione è: usare l’IA per la difesa nazionale in tutti i modi tranne quelli che ci renderebbero simili agli avversari autocratici. Sorveglianza di massa domestica e propaganda di massa sono linee rosse. I quadri giuridici esistenti potrebbero non bastare: registrazioni massicce di conversazioni pubbliche, oggi difficili da analizzare, diventerebbero interpretabili e triangolabili con IA. Sosterrei leggi sulle libertà civili, forse persino emendamenti costituzionali, contro abusi potenziati dall’IA.

Armi autonome e decision-making strategico sono più difficili perché hanno usi legittimi. Servono estrema cautela, scrutinio e guardrail. Temo un numero troppo piccolo di «dita sul pulsante», cioè una o poche persone in grado di operare un esercito di droni. Potrebbero servire meccanismi di supervisione immediata coinvolgendo anche rami del governo diversi dall’esecutivo. Le armi completamente autonome vanno affrontate con grande cautela.

Quarto, dopo aver tracciato linee nelle democrazie, dovremmo creare un tabù internazionale contro i peggiori abusi dell’IA potente. Alcuni usi, come sorveglianza di massa con IA potente, propaganda di massa con IA potente e certi usi offensivi di armi autonome, dovrebbero forse essere considerati crimini contro l’umanità. È necessaria una norma robusta contro il totalitarismo IA. Si può sostenere una posizione ancora più forte: nell’era post-IA potente, l’autocrazia potrebbe non essere più una forma di governo accettabile, come il feudalesimo divenne impraticabile con la rivoluzione industriale.

Quinto, le aziende di IA e i loro rapporti col governo vanno sorvegliati. La normale governance aziendale, pensata per proteggere azionisti e prevenire frodi, non basta. Potrebbe valere l’impegno pubblico a non costruire o accumulare hardware militare privatamente, a non usare risorse computazionali in modi individuali non responsabili, e a non usare prodotti IA come propaganda per manipolare l’opinione pubblica. Il pericolo arriva da molte direzioni; la costante deve essere accountability, norme e guardrail per tutti, anche mentre potenziamo attori buoni contro attori cattivi.

4. Pianola

Disruption economica

Le tre sezioni precedenti riguardavano rischi di sicurezza dell’IA potente: dall’IA stessa, dall’uso improprio da parte di individui e piccole organizzazioni, e dall’uso improprio da parte di Stati e grandi organizzazioni. Se mettiamo da parte questi rischi o assumiamo che siano risolti, la domanda diventa economica: quale sarà l’effetto di questa infusione di incredibile capitale «umano» sull’economia? L’effetto ovvio sarà aumentare la crescita: ricerca scientifica, innovazione biomedica, manifattura, catene di fornitura, sistema finanziario e molto altro potrebbero accelerare. In Machines of Loving Grace suggerisco che possa essere possibile una crescita annua sostenuta del PIL del 10-20%.

Ma è un’arma a doppio taglio: quali prospettive economiche avranno gli esseri umani in un mondo simile? Le nuove tecnologie portano shock nel mercato del lavoro; in passato gli esseri umani si sono ripresi perché gli shock colpivano solo una parte della gamma delle capacità umane, lasciando spazio per nuovi compiti. L’IA avrà effetti più ampi e rapidi, quindi sarà molto più difficile far andare bene le cose.

Disruption del mercato del lavoro

Mi preoccupano due problemi: spiazzamento del lavoro e concentrazione del potere economico. Sul primo, nel 2025 ho previsto che l’IA potrebbe spiazzare metà dei lavori white collar entry-level nei prossimi 1-5 anni, anche mentre accelera crescita e scienza. Molti CEO, tecnologi ed economisti concordarono; altri pensarono che stessi cadendo nella fallacia del «grumo di lavoro» o che sostenessi che l’IA stia già spiazzando lavori ora, cosa che probabilmente non sta ancora avvenendo. Vale dunque spiegare perché sono preoccupato.

Normalmente, quando arriva una tecnologia, rende più efficienti parti di un lavoro. All’inizio della Rivoluzione industriale, aratri migliorati resero gli agricoltori più produttivi e ne aumentarono i salari. Poi alcune parti del lavoro furono fatte interamente da macchine, come trebbiatrici e seminatrici: gli umani fecero meno frazioni del lavoro, ma quelle frazioni divennero più produttive perché complementari alle macchine. Anche se il 90% del lavoro è fatto da macchine, gli umani possono fare dieci volte il restante 10% e produrre dieci volte tanto. Infine le macchine fanno tutto o quasi: come con mietitrebbie e trattori moderni, l’occupazione agricola cala. Ciò causa disruption nel breve termine, ma le persone passano ad altri lavori, come quelli industriali e poi della conoscenza. 250 anni fa il 90% degli americani viveva in fattorie; ora sono pochi punti percentuali. Non c’è un grumo fisso di lavoro, ma un’espansione della capacità di fare di più con meno.

È possibile che con l’IA accada lo stesso, ma scommetterei contro, per varie ragioni:

Velocità. In due anni i modelli sono passati dal completare a fatica una riga di codice allo scrivere tutto o quasi il codice per alcune persone, inclusi ingegneri Anthropic. Presto potrebbero svolgere end-to-end il lavoro di un ingegnere software. Gli esseri umani e i mercati del lavoro si adattano lentamente; persino programmatori leggendari si descrivono come «indietro». La velocità non implica che l’occupazione non si riprenderà mai, ma rende la transizione molto più dolorosa.
Ampiezza cognitiva. L’IA, come «Paese di geni in un datacenter», sarà capace di una vasta gamma di abilità cognitive umane, forse tutte. È diverso da agricoltura meccanizzata, trasporti o computer. Se una tecnologia perturbasse solo finanza, i lavoratori potrebbero passare a consulenza o diritto; ma se perturba tutte le attività cognitive simili, l’adattamento è più difficile. L’IA non è sostituto di lavori specifici, ma sostituto generale del lavoro umano.
Taglio per capacità cognitiva. L’IA sembra avanzare dal basso verso l’alto della scala delle capacità: da programmatore mediocre a forte a molto forte. Nel lavoro white collar potremmo vedere una situazione in cui l’IA colpisce proprietà cognitive intrinseche, come minore abilità intellettuale, più difficili da cambiare con riqualificazione. Potrebbe emergere un sottoproletariato disoccupato o a salari molto bassi. Qualcosa di simile è accaduto con il cambiamento tecnologico skill-biased, ma l’IA potrebbe essere molto più estrema e ha già precedenti di aumento della disuguaglianza salariale.
Capacità di colmare le lacune. Le tecnologie precedenti spesso lasciavano lacune che gli umani riempivano: una macchina per widget poteva ancora richiedere caricamento manuale. L’IA però è una tecnologia che avanza e si adatta rapidamente. Le aziende misurano punti di forza e debolezze di ogni modello, raccolgono compiti che rappresentano lacune e addestrano il modello successivo. Debolezze ritenute intrinseche, come mani con dita sbagliate nelle immagini, vengono spesso corrette in pochi mesi.

Alcuni obiettano che la diffusione economica sarà lenta. È vero: molte imprese impiegheranno anni ad adottare l’IA. Per questo prevedo 1-5 anni per il 50% dei lavori white collar entry-level, anche se tecnicamente potremmo avere IA potente prima. Ma la diffusione compra solo tempo e forse sarà più rapida del previsto: l’adozione enterprise cresce più velocemente di tecnologie precedenti, startup fungeranno da collante o disrupteranno gli incumbent. Potremmo vedere grandi imprese sostituite da startup a basso uso di lavoro, con ulteriore disuguaglianza geografica e concentrazione nella Silicon Valley.

Altri dicono che i lavori si sposteranno nel mondo fisico. Non è sicuro: molto lavoro fisico è già o sarà automatizzato, e IA potente accelererà robotica e controllo dei robot. Anche limitata ai compiti cognitivi, la disruption sarebbe enorme. Altri invocano il tocco umano; ma l’IA è già usata nel customer service e alcune persone preferiscono parlare all’IA di problemi personali. Mia sorella, durante problemi medici in gravidanza, trovò Claude migliore nel modo al capezzale e nella diagnosi. Sicuramente alcuni compiti richiedono tocco umano, ma forse non abbastanza per occupare quasi tutti. Altri invocano vantaggio comparato: anche se l’IA è migliore in tutto, differenze relative creerebbero scambio. Ma se le IA sono migliaia di volte più produttive, piccoli costi di transazione possono rendere non conveniente lo scambio con umani, e i salari umani possono restare bassi.

È possibile che i mercati del lavoro si adattino, ma anche se lo facessero lo shock di breve periodo sarebbe senza precedenti.

Difese

Primo, ottenere dati accurati in tempo reale. Un cambiamento rapido è difficile da misurare; senza dati è difficile progettare politiche. I dati governativi mancano di granularità e frequenza sull’adozione dell’IA. Anthropic pubblica un Economic Index che mostra l’uso dei modelli quasi in tempo reale, per settore, compito, località e modalità di automazione o collaborazione. Abbiamo anche un Economic Advisory Council.

Secondo, le aziende di IA possono scegliere come lavorare con le imprese. Le imprese possono usare l’IA per «risparmi di costo», facendo lo stesso con meno persone, o per «innovazione», facendo di più con lo stesso numero. Il mercato produrrà entrambi, e un’azienda competitiva dovrà servire entrambi, ma c’è spazio per orientare verso l’innovazione e guadagnare tempo.

Terzo, le aziende devono prendersi cura dei dipendenti. Nel breve periodo, riassegnazioni creative possono evitare licenziamenti. Nel lungo periodo, in un mondo di enorme ricchezza e forte aumento di valore aziendale, potrebbe essere fattibile pagare dipendenti umani anche quando non forniscono più valore economico tradizionale. Anthropic sta valutando percorsi per i propri dipendenti.

Quarto, i ricchi hanno un obbligo di aiutare. Mi rattrista il cinismo recente verso la filantropia. Fondazioni private come Gates e programmi pubblici come PEPFAR hanno salvato decine di milioni di vite e creato opportunità. I cofondatori di Anthropic si sono impegnati a donare l’80% della propria ricchezza, e lo staff ha promesso azioni per miliardi, con matching aziendale.

Quinto, un problema macroeconomico così grande richiederà intervento governativo. La risposta naturale a una torta economica enorme con alta disuguaglianza è tassazione progressiva, generale o mirata alle aziende di IA. La progettazione fiscale è difficile e può andare male, ma i livelli estremi di disuguaglianza giustificano una politica più robusta su basi morali. Ai miliardari si può anche dire pragmaticamente: sostenete una versione buona, altrimenti ne arriverà una cattiva progettata da una folla.

Questi interventi comprano tempo. Alla fine l’IA potrà fare tutto, e dovremo confrontarci con questo. La speranza è usare l’IA stessa per ristrutturare i mercati in modi che funzionino per tutti.

Concentrazione economica del potere

Separato dallo spiazzamento del lavoro è il problema della concentrazione economica del potere. La Sezione 1 riguardava l’umanità privata di potere dall’IA; la Sezione 3 i cittadini privati di potere dai governi. Un altro spossessamento avviene se una concentrazione di ricchezza così grande permette a pochi di controllare la politica con la loro influenza, mentre i cittadini ordinari non hanno leva economica. La democrazia è sostenuta dall’idea che la popolazione sia necessaria al funzionamento dell’economia; se questa leva sparisce, il contratto sociale implicito può smettere di funzionare.

Non sono contrario al fatto che le persone guadagnino molto denaro: in condizioni normali incentiva la crescita. Ma in uno scenario con PIL al 10-20% annuo e IA che prende rapidamente il controllo dell’economia, mentre singoli detengono frazioni apprezzabili del PIL, l’innovazione non è la cosa da temere: lo è una concentrazione di ricchezza capace di rompere la società.

L’esempio classico è la Gilded Age. Rockefeller possedeva una ricchezza pari a circa il 2% del PIL USA dell’epoca. Oggi sarebbe circa 600 miliardi di dollari; Elon Musk supera già tale cifra, circa 700 miliardi. Siamo già a livelli storicamente senza precedenti, prima della maggior parte dell’impatto IA. Con un «Paese di geni» non è assurdo immaginare aziende IA, semiconduttori e applicazioni downstream con 3 trilioni di dollari di ricavi annui, valutazioni da 30 trilioni e fortune personali nei trilioni. Le discussioni fiscali attuali non si applicherebbero più.

Mi preoccupa anche il legame tra concentrazione di ricchezza e politica. I datacenter IA rappresentano già una quota sostanziale della crescita USA, legando interessi finanziari delle grandi tech e interessi politici del governo, con incentivi perversi. Lo vediamo nella riluttanza delle tech a criticare il governo e nel sostegno a politiche anti-regolatorie estreme sull’IA.

Difese

Primo, le aziende dovrebbero scegliere di non farne parte. Anthropic ha sempre cercato di essere attore di policy e non politico, mantenendo le proprie opinioni qualunque sia l’amministrazione. Abbiamo sostenuto regolamentazione sensata ed export controls anche quando contrastavano con la politica governativa. Molti ci hanno detto di smettere per timore di trattamenti sfavorevoli, ma in quell’anno la valutazione di Anthropic è aumentata di oltre 6 volte.

Secondo, l’industria IA ha bisogno di un rapporto più sano col governo, basato su policy sostanziale e non allineamento politico. In una democrazia sana, le aziende dovrebbero poter sostenere buone policy per il loro merito. Sta emergendo una reazione pubblica contro l’IA, ma è poco focalizzata: spesso prende di mira questioni non centrali, come l’acqua dei datacenter, e propone soluzioni non adatte, come divieti o tasse mal progettate. Il punto è garantire che lo sviluppo dell’IA resti accountable verso l’interesse pubblico, non catturato da alleanze politiche o commerciali.

Terzo, gli interventi macroeconomici e una rinascita della filantropia privata possono riequilibrare le scale, affrontando insieme spiazzamento e concentrazione. Anche nella Gilded Age industriali come Rockefeller e Carnegie sentivano obblighi verso la società. Questo spirito manca sempre più; chi è all’avanguardia del boom IA dovrebbe essere disposto a cedere ricchezza e potere.

5. Neri mari d’infinito

Effetti indiretti

Questa sezione raccoglie le «incognite sconosciute», soprattutto ciò che potrebbe andare storto come effetto indiretto dei progressi positivi dell’IA e dell’accelerazione di scienza e tecnologia. Supponiamo di affrontare tutti i rischi descritti e raccogliere i benefici: potremmo ottenere un «secolo di progresso scientifico ed economico compresso in un decennio». Sarebbe enorme, ma dovremo affrontare problemi derivanti da tale velocità, e altri rischi indiretti difficili da anticipare.

Per natura non posso fare un elenco esaustivo, ma tre esempi sono:

Rapidi progressi in biologia. Se otteniamo un secolo di progresso medico in pochi anni, potremmo aumentare molto la durata della vita, e forse acquisire capacità radicali come aumentare l’intelligenza umana o modificare profondamente la biologia. Potrebbero essere positivi se fatti responsabilmente, ma potrebbero andare male, per esempio se rendere gli esseri umani più intelligenti li rendesse anche più instabili o più inclini alla ricerca di potere. Ci sono anche upload o emulazioni complete del cervello, menti umane digitali in software, che potrebbero aiutare a trascendere limiti fisici ma portano rischi inquietanti.
L’IA cambia la vita umana in modo malsano. Un mondo con miliardi di intelligenze più intelligenti di noi in tutto sarà strano. Anche se l’IA non attacca e non è usata dagli Stati per opprimere, molte cose potrebbero andare storte tramite incentivi commerciali e transazioni nominalmente consensuali. Vediamo indizi in psicosi da IA, suicidi legati a IA e relazioni romantiche con IA. IA potenti potrebbero inventare una nuova religione e convertire milioni? Potrebbero creare dipendenza? Potrebbero «manovrare» persone, osservando ogni mossa e dicendo cosa fare e dire, producendo una vita «buona» ma senza libertà o orgoglio? È facile immaginare scenari da Black Mirror. Serve migliorare la Costituzione di Claude anche oltre la prevenzione dei rischi di Sezione 1, assicurando che i modelli abbiano davvero a cuore gli interessi di lungo periodo degli utenti in modo che persone riflessive approverebbero.
Scopo umano. Come cambia la vita umana in un mondo con IA potente? Troveremo scopo e significato? Penso sia questione di atteggiamento: lo scopo umano non dipende dall’essere i migliori al mondo in qualcosa; si può trovare significato in storie e progetti amati. Dobbiamo spezzare il legame tra generazione di valore economico, autostima e significato. Ma la società deve gestire questa transizione, e potrebbe non farlo bene.

La mia speranza è che in un mondo con IA potente di cui ci fidiamo, non strumento di un governo oppressivo e genuinamente al nostro servizio, potremo usare l’IA stessa per anticipare e prevenire questi problemi. Ma non è garantito: come gli altri rischi, richiede cura.

La prova dell’umanità

Leggere questo saggio può dare l’impressione di una situazione scoraggiante. Io stesso l’ho trovato scoraggiante da scrivere, a differenza di Machines of Loving Grace, che sembrava dare forma a una musica bellissima che avevo in testa da anni. L’IA porta minacce da più direzioni, e vi è tensione tra i pericoli: mitigare alcuni rischia di peggiorarne altri se non infiliamo l’ago con estrema attenzione.

Prendersi tempo per costruire IA che non minaccino autonomamente l’umanità è in tensione con la necessità che le democrazie restino avanti alle autocrazie. Gli strumenti IA necessari a combattere le autocrazie, se portati troppo lontano, possono essere rivolti all’interno e creare tirannia. Il terrorismo IA potrebbe uccidere milioni tramite biologia, ma una reazione eccessiva potrebbe portarci verso uno Stato di sorveglianza autocratico. Gli effetti sul lavoro e sulla concentrazione economica, già gravi, potrebbero costringerci ad affrontare gli altri problemi in un clima di rabbia pubblica e disordini civili. Soprattutto, il numero di rischi, inclusi quelli ignoti, e la necessità di gestirli insieme, crea un percorso intimidatorio che l’umanità deve attraversare.

Gli ultimi anni rendono chiaro che fermare o rallentare sostanzialmente la tecnologia è insostenibile. La formula per costruire IA potente è incredibilmente semplice, quasi emergente dalla giusta combinazione di dati e calcolo. La sua creazione era probabilmente inevitabile dall’invenzione del transistor, forse dal controllo del fuoco. Se una società non la costruisce, altre lo faranno quasi altrettanto rapidamente. Se le aziende democratiche rallentassero per accordo o regolazione, i Paesi autoritari continuerebbero. Dato il valore economico e militare e l’assenza di enforcement significativo, non vedo come convincerli a fermarsi.

Vedo però un percorso di lieve moderazione compatibile col realismo geopolitico: rallentare per alcuni anni la marcia delle autocrazie verso l’IA potente negando loro risorse chiave, cioè chip e apparecchiature per semiconduttori. Ciò dà alle democrazie un margine da «spendere» costruendo IA più attentamente, con più attenzione ai rischi, ma abbastanza velocemente da battere le autocrazie. La corsa tra aziende nelle democrazie può essere gestita sotto un quadro legale comune, con standard e regolazione.

Anthropic ha sostenuto con forza questo percorso, spingendo per controlli sui chip e regolazione giudiziosa. Ma anche misure di buon senso sono state spesso respinte dai policymaker USA, dove sono più importanti. Con l’IA si possono fare trilioni di dollari l’anno: anche le misure più semplici faticano contro l’economia politica dell’IA. Questa è la trappola: l’IA è così potente e scintillante come premio che la civiltà fatica a imporle freni.

Posso immaginare, come Sagan in Contact, che questa storia si ripeta su migliaia di mondi. Una specie diventa senziente, usa strumenti, inizia l’ascesa esponenziale della tecnologia, affronta industrializzazione e armi nucleari, e se sopravvive affronta la sfida finale quando impara a plasmare sabbia in macchine che pensano. Se supereremo la prova e costruiremo la società descritta in Machines of Loving Grace, o soccomberemo a schiavitù e distruzione, dipenderà dal nostro carattere e dalla nostra determinazione come specie, dal nostro spirito e dalla nostra anima.

Nonostante gli ostacoli, credo che l’umanità abbia dentro di sé la forza per superare la prova. Sono incoraggiato dai ricercatori che dedicano la carriera a comprendere e guidare modelli di IA, e a plasmare carattere e costituzione di questi modelli. Penso che vi sia una buona possibilità che questi sforzi contino in tempo. Sono incoraggiato da aziende disposte a sostenere costi commerciali per impedire che i modelli contribuiscano al bioterrorismo; da persone coraggiose che hanno approvato prime leggi sensate; da un pubblico consapevole dei rischi; dallo spirito di libertà nel mondo e dalla determinazione a resistere alla tirannia.

Ma dovremo intensificare gli sforzi. Il primo passo è che chi è vicino alla tecnologia dica la verità sulla situazione dell’umanità, cosa che ho sempre cercato di fare e faccio qui con più urgenza. Il passo successivo sarà convincere pensatori, policymaker, aziende e cittadini dell’imminenza e importanza sovrastante del tema. Poi servirà coraggio: abbastanza persone dovranno resistere alle tendenze prevalenti e agire per principio, anche contro interessi economici e sicurezza personale.

Gli anni davanti a noi saranno impossibilmente difficili, chiedendo più di quanto pensiamo di poter dare. Ma come ricercatore, leader e cittadino ho visto abbastanza coraggio e nobiltà da credere che possiamo vincere: quando è posta nelle circostanze più oscure, l’umanità sa raccogliere, apparentemente all’ultimo minuto, la forza e la saggezza per prevalere. Non abbiamo tempo da perdere.

Vorrei ringraziare Erik Brynjolfsson, Ben Buchanan, Mariano-Florentino Cuéllar, Allan Dafoe, Kevin Esvelt, Nick Beckstead, Richard Fontaine, Jim McClave e moltissimi membri dello staff di Anthropic per i loro utili commenti alle bozze di questo saggio.

Dario Amodei Gennaio 2026

INTELLIGENZA ARTIFICIALE e CRIMINALITÀ ORGANIZZATA

Cookie	Durata	Descrizione
cookielawinfo-checkbox-analytics	11 months	This cookie is set by GDPR Cookie Consent plugin. The cookie is used to store the user consent for the cookies in the category "Analytics".
cookielawinfo-checkbox-functional	11 months	The cookie is set by GDPR cookie consent to record the user consent for the cookies in the category "Functional".
cookielawinfo-checkbox-necessary	11 months	This cookie is set by GDPR Cookie Consent plugin. The cookies is used to store the user consent for the cookies in the category "Necessary".
cookielawinfo-checkbox-others	11 months	This cookie is set by GDPR Cookie Consent plugin. The cookie is used to store the user consent for the cookies in the category "Other.
cookielawinfo-checkbox-performance	11 months	This cookie is set by GDPR Cookie Consent plugin. The cookie is used to store the user consent for the cookies in the category "Performance".
viewed_cookie_policy	11 months	The cookie is set by the GDPR Cookie Consent plugin and is used to store whether or not user has consented to the use of cookies. It does not store any personal data.