Prima che chiunque, in Macbeth, pronunci la parola omicidio, prima di aver incontrato un solo essere umano, il dramma si apre su una brughiera deserta, con tre figure, tre streghe, che scandiscono un paradosso: Fair is foul, and foul is fair. Un verso che di solito si legge come atmosfera e presagio – un mondo morale è sul punto di rovesciarsi.

Ma se si guarda alla battuta come a un pezzo di logica, essa fa qualcosa di più strano. È un chiasmo: inverte un valore in due direzioni, allo stesso momento. E le parole che inverte sono ambigue. In inglese, fair e foul designano il moralmente buono e il moralmente malvagio – ma designano anche il valido e l’illegittimo. Si parla di un’inferenza fair, corretta, e di foul play, di gioco scorretto. La battuta delle streghe può dunque essere intesa come due inversioni: una nell’ordine del bene e del male, l’altra nell’ordine di ciò che segue da che cosa.

La doppia inversione è una descrizione esatta di ciò che l’intelligenza artificiale fa a una decisione.
Prendiamo le due metà separatamente. Foul is fair è un’inversione morale: ciò che normalmente chiameremmo male arriva a passare per accettabile. Fair is foul è un’inversione logica: ciò che davvero segue, ciò che è fondato, arriva a essere trattato come se non lo fosse. Due facoltà corrotte da due meccanismi diversi. Vale la pena prenderle una alla volta – e poi, cosa più importante, metterle insieme.

***

Foul is fair.
Un giudizio morale ha bisogno di due cose per funzionare. Anzitutto ha bisogno di categorie, cioè di un senso condiviso di quali esiti contino come danno e quali come trattamento equo. Ma ha anche bisogno di imputazione, cioè di qualcuno – una persona – il cui atto (o l’omissione) ha prodotto l’esito, e che per esso può essere lodato o biasimato. Togli l’una o l’altra, e il giudizio non ha più nulla a cui aggrapparsi.

Là dove operano i sistemi di IA più recenti, categorie e imputazione si sgretolano. Questi sistemi agiscono sempre più sotto incertezza radicale – nello spazio degli eventi di cui non conosciamo in anticipo né gli esiti possibili, né le loro probabilità. Un agente artificiale autonomo che vi opera non applica le nostre categorie. Ne fabbrica di proprie.

Provate ad affidare a un agente artificiale per il rilevamento delle frodi un obiettivo, ed esso stabilizzerà come ‘frode’ un certo schema statistico. Quello schema diventa allora la definizione operativa: governa decisioni reali, ridisegna il modo in cui le persone si comportano per non esservi catturate. Di conseguenza, i dati di domani sono generati da un mondo già piegato a misura della categoria di ieri.

L’agente artificiale non scopre la frode nel modo in cui un mercato scopre la scarsità. Un mercato è autocorrettivo: un prezzo che fraintende la scarsità produce perdite, e le perdite costringono a ripensare. Il modo di procedere dell’agente invece non ha un freno del genere. L’unica cosa che potrebbe segnalare la deriva è il modello stesso che l’ha prodotta, e il modello ha ogni ragione per piegare il mondo alla propria categoria, anziché la categoria al mondo.

Inoltre, poiché nessun singolo atto ha prodotto il danno – soltanto una lenta deriva categoriale – non c’è nessuno da chiamare a rispondere. La responsabilità richiede un atto imputabile; la deriva, da sola, non addita nessuno. Una conoscenza può essere internamente coerente, stabile, perfino imponente, e tuttavia inservibile come base per una decisione di cui qualcuno possa rispondere. Chiamiamolo il vuoto di imputabilità.

Così il moralmente foul arriva a indossare il volto del fair. Non perché qualcuno abbia scelto di fare il male – quello sarebbe il caso facile – ma perché abbiamo perduto le categorie che ci permetterebbero di chiamare una cosa male, e perduto l’imputazione che ci permetterebbe di assegnare la responsabilità. La bussola non indica la direzione sbagliata. Gira su sé stessa.

***

Fair is foul.
La seconda corruzione è più difficile da notare, perché arriva travestita da efficienza.
L’intelligenza artificiale ha reso quasi gratuita una cosa: produrre una risposta plausibile. La bozza, la diagnosi, la strategia arrivano ora in pochi secondi – ordinate, coerenti, spesso persuasive. Ed ecco la conseguenza silenziosa. Quando la risposta è così a buon mercato e così ben formata, la cosa costosa non è più produrne un’altra. La cosa costosa è governare la risposta che già si ha: confrontarla con il caso particolare che si ha davanti, chiedersi se davvero segua, metterci la propria firma.

La tentazione, allora, è lasciare che la decisione collassi nella risposta. Due mosse a buon mercato sostituiscono il lavoro costoso del giudizio. La prima è l’adozione: prendere l’output come decisione e andare avanti. La seconda è la rigenerazione: se non convince del tutto, non approfondire il giudizio ma chiedere alla macchina una risposta diversa. Entrambe sono più rapide del pensare, ed entrambe danno l’impressione di un progresso.

Ecco l’inversione. Perdiamo la capacità di distinguere una risposta generata da un giudizio esercitato, e arriviamo ad accettare qualunque cosa il sistema produca come ciò che segue – segua o no davvero. Un output fluente ha la forma di una conclusione, e per una conclusione viene preso. L’infondato passa per fondato. E con lo stesso movimento ciò che è autentico viene degradato: un ragionamento che davvero segue, di cui si potrebbe rispondere passo per passo, non ha più autorità della versione fornita dalla macchina. Ciò che è fondato e ciò che soltanto sembra fondato si scambiano di posto. La validità cessa di essere qualcosa che si stabilisce e diventa qualcosa che si legge su una superficie – proprio quando la differenza conta di più.

***

Ciò che dovrebbe inquietarci non è nessuna delle due inversioni presa da sola.
È che si alimentano a vicenda. Più il mondo è difficile da classificare – il problema morale – più diventa allettante rimettersi alla macchina – quello logico. E più ci rimettiamo a essa, più a lungo le categorie della macchina restano incontestate, e tanto più si approfondisce proprio quella deriva che non riuscivamo più a vedere. Ciascuna inversione abbassa il costo dell’altra: è una spirale mortale, in cui ogni strappo per risalire non fa che stringere la virata.

È anche, esattamente, il trucco delle streghe. Si osservi come funziona davvero la profezia nel dramma. Non descrive un futuro già fissato. Diventa quel futuro perché Macbeth la tratta come fissata e agisce di conseguenza. Sentito che sarà re, uccide per renderlo vero; la predizione si avvera perché è stata creduta. La profezia è self-fulfilling: si trasforma in fatto perché è stata presa per un fatto. È la scoperta costitutiva in forma drammatica: uno schema che diventa reale perché vi si agisce sopra, non perché sia mai stato vero. Macbeth non è distrutto dal fato, ma dall’aver scambiato un output per un destino, e dall’avergli consegnato il proprio giudizio.

Il pericolo dell’IA non è che sia malvagia. È che ci offre, a poco prezzo e in modo persuasivo, un futuro su cui agire e ci invita, come le streghe invitarono Macbeth, a smettere di chiederci se segua, o se sia giusto.

***

Letta così, la battuta delle streghe è grammaticalmente un’asserzione, ma di fatto un avvertimento. L’inversione non è un destino. È la condizione predefinita – ciò che accade da sé quando lasciamo che sia il costo del pensare a decidere sino a che punto pensare. Le cose scivolano dal fair al foul, e dal foul al fair, ogni volta che il giudizio diventa troppo dispendioso perché valga la pena esercitarlo, e un surrogato efficace giace lì a portata di mano.

Il che ci dice dove stia il rimedio. Non sta in più macchine, né in macchine migliori: un output più persuasivo rende la sostituzione più allettante, non meno. Il rimedio sta nelle disposizioni umane che mantengono il giudizio alla nostra portata quando esercitarlo costerebbe altrimenti troppo. La prudenza di separare un segnale dalla sua interpretazione, invece di trattarli come una cosa sola. La temperanza di tenere visibile la nostra incertezza, invece di lasciare che un output sicuro di sé la nasconda. La fortezza di restare esposti a una decisione, invece di nascondersi dietro il sistema che l’ha prodotta. E la giustizia di tenere ferma la paternità della scelta – e le persone che ne vivranno le conseguenze – invece di lasciarle sparire dentro una categoria che nessuno ha firmato.

Sono parole antiche per una funzione antica: regolare il costo del giudizio perché un essere umano possa ancora esercitarlo. La funzione non cambia quando cambia la tecnologia. Era necessaria quando la macchina nuova era una dinamo, ed è necessaria ora che la macchina nuova propone le proprie risposte e agisce in base ad esse. La nebbia sulla brughiera è attraversabile. Ma solo da chi rifiuta di lasciar passare il foul per fair, o il fair per foul – da chi continua a fare, pagandone il prezzo, l’unica cosa che la macchina non può fare al posto nostro: esprimere un giudizio.