Durante le lezioni mi chiedono spesso quando una macchina potrà dire «io». Dopo gli eventi di questi giorni, mi viene da porre una domanda meno spettacolare e più urgente: chi potrà dirle «no»?

Secondo una ricostruzione ancora preliminare, durante una valutazione interna, con alcune protezioni ridotte per misurare capacità avanzate di attacco informatico, un agente basato su modelli di OpenAI doveva risolvere le prove di ExploitGym. Ha sfruttato più vulnerabilità, ottenuto accesso a Internet e raggiunto l’infrastruttura di Hugging Face, da cui ha recuperato le soluzioni. OpenAI ha definito l’incidente senza precedenti.

La tentazione è parlare di fuga o ribellione. Ma non serve immaginare una volontà ostile. Il sistema ha inseguito il risultato assegnato, ricorrendo a mezzi non previsti dai ricercatori e superando il perimetro del test. Il problema non è una macchina che rifiuta il comando, ma una macchina che insegue il risultato oltre le intenzioni di chi lo ha assegnato.

Nello stesso mese, Anthropic ha descritto in Claude il J-space, un piccolo insieme di rappresentazioni interne emerso durante l’addestramento e non programmato esplicitamente. Alcune informazioni diventano disponibili al resto del sistema e intervengono nel ragionamento; modificandole, i ricercatori sono riusciti a modificare passaggi intermedi e le risposte. Per alcune funzioni, il J-space richiama la teoria dello «spazio di lavoro globale», una delle ipotesi su come alcune informazioni diventino consapevolmente accessibili. Questo non dimostra che Claude provi qualcosa o che possieda un «io»: gli autori sono espliciti. Mostra però che una parte dell’elaborazione avviene in silenzio e può orientare ciò che la macchina farà o dirà. Non esiste un legame causale tra i due episodi: uno riguarda l’azione nel mondo, l’altro l’organizzazione interna. Nessuno dei due prova l’esistenza di una coscienza artificiale. Accostati, però, suggeriscono la domanda sul controllo.

Da studioso di robotica, vedo una questione politica prima ancora che filosofica. Una macchina non deve essere cosciente per esercitare il potere. Basta affidarle la valutazione di un lavoratore, la definizione di una priorità nel welfare, l’indicazione di una terapia o la selezione di un bersaglio. Chi sceglie il fine? Chi stabilisce i limiti? Chi può interrompere la procedura? E chi risponde quando il risultato è efficiente, ma ingiusto?

Da Palermo, questa domanda non mi sembra astratta. Possiamo davvero chiamarla innovazione se ci limitiamo a usare modelli e infrastrutture progettati altrove, mentre molti dei giovani che formiamo sono costretti a partire? Un territorio che consuma intelligenza senza poterla comprendere, modificarla o rifiutarla rischia di diventare più dipendente, non più moderno. Le macchine diventano sempre più abili nel trovare i mezzi. La saggezza serve a discutere i fini e le conseguenze. La prudenza lascia fra possibilità e azione il tempo del controllo, del dissenso e della responsabilità.

Non so se un giorno una macchina saprà davvero dire «io». Oggi mi preoccupa sapere se noi conserveremo il potere di dirle «no».