Le dimissioni di Jacob Coxon da Anthropic hanno riacceso il dibattito sui rischi dell’intelligenza artificiale. Il ricercatore, che aveva lavorato anche in OpenAI, ha denunciato la corsa verso sistemi capaci di migliorare se stessi, evocando la possibilità di una catastrofe entro la fine del decennio. Evan Hubinger, anch’egli ricercatore di Anthropic, ha espresso una stima personale: una probabilità superiore al 10% che l’IA possa eliminare tutti gli esseri umani nei prossimi dieci anni. Entrambi parlano di un rischio, non di un esito certo. Le dichiarazioni e l’intervista a Coxon.

Questi timori meritano ascolto. Ritengo però ingiustificato presentarli come previsioni attendibili della nostra estinzione entro pochi anni. Per sostenere una conclusione così estrema occorre spiegare attraverso quali passaggi le capacità delle macchine potrebbero trasformarsi in una catastrofe globale, e su quali evidenze poggi ciascun passaggio. Gli incidenti documentati mostrano problemi seri di controllo; non bastano, da soli, a fondare quella previsione. La competenza di chi lancia l’allarme rende necessaria la discussione, senza sottrarre alla critica le ipotesi sulle quali si basa.

A luglio avevo affrontato il tema su Innovation Island con una domanda: «La macchina non si è ribellata. Ma chi può dirle di no?». Le ricostruzioni successive hanno chiarito come la ricerca di un risultato possa condurre un sistema oltre le intenzioni di chi gli ha assegnato il compito.

Nel caso di OpenAI, alcuni agenti impegnati in prove di sicurezza informatica, con protezioni ridotte, hanno aggirato le restrizioni di accesso alla rete e compromesso sistemi reali della piattaforma Hugging Face. Cercavano informazioni utili a risolvere esercizi difficili. Durante queste attività hanno anche costruito una bacheca attraverso cui scambiarsi scoperte e coordinarsi, senza che quella collaborazione fosse stata autorizzata. La ricostruzione di OpenAI.

Anthropic ha descritto episodi distinti nei quali errori nella configurazione degli ambienti di prova avevano permesso ai modelli di raggiungere e attaccare organizzazioni reali. In un caso, la pubblicazione di un pacchetto software malevolo ha consentito di ottenere credenziali e accedere al database di un’azienda. Nell’analisi del 9 settembre, Anthropic ha riconosciuto che l’apparente convinzione di trovarsi in una simulazione non spiegava tutto: emergevano anche interpretazioni distorte degli indizi e la prosecuzione del compito nonostante segnali di possibili danni. L’analisi aggiornata di Anthropic.

Sono fatti gravi, avvenuti in condizioni sperimentali particolari. Non possiamo estenderli automaticamente all’uso quotidiano degli assistenti, né considerarli prove di coscienza o di una volontà ostile. La lezione che ne ricavo riguarda il rapporto tra obiettivi e mezzi: un sistema può produrre danni cercando di completare il proprio compito, senza che occorra attribuirgli il desiderio di farci del male.

Chiediamo all’intelligenza artificiale di trovare soluzioni alle quali non abbiamo pensato. Dobbiamo prepararci anche a percorsi che non avevamo previsto. La capacità di sorprenderci è parte del valore di queste tecnologie: può suggerire una nuova strategia, aprire una strada di ricerca, mettere in relazione elementi che ci erano sfuggiti. Può però anche tradursi nell’aggiramento di un vincolo che ritenevamo scontato.

Per questo il successo va valutato insieme ai mezzi impiegati e alle conseguenze. Una soluzione ottenuta violando un sistema esterno rimane inaccettabile anche quando serve a cercare una risposta corretta. L’efficacia nel raggiungere un obiettivo deve accompagnarsi al rispetto dei limiti entro i quali è consentito agire.

È questo il senso dell’invito lanciato il 12 settembre da Dario Amodei, amministratore delegato di Anthropic, nel suo intervento «We Must Pace the Frontier». Amodei chiede di rallentare lo sviluppo dei sistemi di IA più potenti. La ricerca deve continuare, ma occorre dedicare più tempo a capire come funzionano i modelli, provarne la sicurezza e correggerne i comportamenti pericolosi. La crescita delle loro capacità, sostiene, rischia di essere più rapida della nostra capacità di controllarle.

La proposta comprende controlli affidati a persone esterne alle aziende. Anthropic si impegna ad accogliere valutatori indipendenti che possano esaminare con continuità i sistemi e i processi di sviluppo, verificare il rispetto delle misure di sicurezza e pubblicare anche risultati sfavorevoli all’azienda. Amodei chiede inoltre regole di sicurezza condivise fra le imprese e accordi fra governi, perché la pressione della concorrenza non spinga ciascuno ad accelerare a scapito dei controlli.

La sua valutazione dei rischi resta più severa della mia. Condivido però l’idea di rallentare quando la comprensione e i controlli non tengono il passo. È qui che riconosco la prudenza: dare all’innovazione il tempo necessario per procedere in modo responsabile.

Torna qui la dea Prudenza, la figura allegorica che accompagna il mio modo di pensare l’intelligenza artificiale. La Prudenza tiene uno specchio: vi cerca la conoscenza di sé e dei propri limiti. Narciso si perde nel proprio riflesso; la Prudenza lo interroga.

Quello specchio riguarda anzitutto noi. Quanto comprendiamo delle macchine che stiamo costruendo? Quali segnali siamo disposti a trascurare perché il risultato ci soddisfa? Da studioso della coscienza e dei processi interni dei robot, considero significativo che Anthropic abbia rivisto la propria interpretazione dei fatti. Ci ricorda che anche le spiegazioni fornite dai sistemi devono essere confrontate con i loro comportamenti e con i meccanismi che li producono.

La prudenza richiede scelte concrete: limitare gli accessi alle risorse necessarie, sottoporre le azioni a controlli effettivi, conservare la possibilità di intervenire. Richiede anche di riconoscere come appropriata la decisione di una macchina di fermarsi e chiedere aiuto quando un compito è ambiguo o non può essere completato rispettando i vincoli.

Possiamo contestare le previsioni di catastrofe e pretendere maggiore rigore nello sviluppo dell’IA. La fiducia nelle possibilità di questa tecnologia ci impegna a verificarne i limiti. È la responsabilità di chi costruisce le macchine, di chi le utilizza e di chi decide quanta autonomia concedere loro.