Le tastiere sporche di sangue
Di Massimiliano Nicolini
Quando il software smette di essere tecnologia e diventa parte della macchina della morte
Negli ultimi mesi mi è stata proposta una collaborazione con una società particolarmente importante, conosciuta per lo sviluppo di sistemi software avanzati e per la capacità di operare in settori nei quali l’intelligenza artificiale, l’analisi dei dati e l’automazione assumono un valore strategico. La proposta prevedeva, direttamente o indirettamente, il trasferimento di una parte delle mie conoscenze, delle metodologie maturate nel corso degli anni e di competenze che avrebbero potuto contribuire a rendere quei sistemi ancora più efficaci.
Ho rifiutato.
Non l’ho fatto per paura della complessità del progetto, per ostilità nei confronti dell’innovazione o per un pregiudizio ideologico contro la tecnologia applicata alla sicurezza. Ho rifiutato perché ho compreso che quel software non sarebbe rimasto confinato all’interno di una dimostrazione tecnica, di un laboratorio o di una simulazione. Quel software era inserito in una catena operativa al termine della quale non c’erano soltanto dati elaborati, coordinate geografiche, probabilità statistiche o indicatori colorati su uno schermo. C’erano esseri umani. E alcuni di quegli esseri umani erano morti.
Non intendo formulare in questa sede accuse giudiziarie né attribuire responsabilità penali, che possono essere accertate soltanto dalle autorità competenti attraverso prove, atti e procedimenti regolari. La questione che pongo è precedente e, per molti aspetti, ancora più profonda: la responsabilità morale di chi costruisce strumenti digitali sapendo che saranno utilizzati per individuare, selezionare, inseguire o colpire delle persone.
Ho visto immagini presentate dal sistema come dimostrazione del raggiungimento del bersaglio. Immagini che, dentro una certa logica industriale e militare, potevano forse essere interpretate come una conferma funzionale: il target era stato localizzato, l’azione era stata compiuta, l’obiettivo risultava neutralizzato. Ma dietro quel linguaggio asettico, dietro quelle parole studiate per sterilizzare la coscienza, esisteva una realtà impossibile da cancellare: qualcuno non respirava più.
È in quel momento che il software cessa di apparire come una sequenza astratta di istruzioni. Il codice prende corpo. Le variabili assumono un volto. Le coordinate diventano un luogo realmente abitato. Il target torna a essere una persona. L’esito positivo della missione può trasformarsi nella distruzione di una famiglia, nella morte di un civile, nell’errore irreversibile prodotto da un’identificazione imperfetta, da un dato incompleto o da una probabilità scambiata per certezza.
La parola “target” è già parte del problema. Serve a creare distanza. Un essere umano è complesso: ha un nome, una storia, legami, colpe o innocenza, paure, diritti e possibilità di difendersi. Un target, invece, è un punto. Un elemento da tracciare. Una sagoma da racchiudere in un rettangolo. Una presenza da confermare attraverso una percentuale. È molto più semplice autorizzare la distruzione di un target che assumersi la responsabilità della morte di una persona.
La tecnologia contemporanea è diventata abilissima nel produrre questa separazione morale. Fra chi sviluppa il codice e chi perde la vita vengono collocati numerosi passaggi: il programmatore scrive un algoritmo; un’impresa integra il sistema; un committente lo acquista; un operatore lo utilizza; un’autorità autorizza l’azione; un dispositivo la esegue. Alla fine, ciascuno può tentare di sostenere di aver compiuto soltanto una piccola parte del processo.
Il programmatore afferma di avere scritto codice.
Il dirigente dice di avere rispettato il contratto.
L’azienda sostiene di avere fornito uno strumento.
L’operatore dichiara di avere seguito le procedure.
Il decisore richiama la necessità della missione.
In questo modo la responsabilità viene frammentata fino a diventare apparentemente invisibile. Ma la frammentazione non elimina la responsabilità: la distribuisce. Nessuno può nascondersi per sempre dietro la propria porzione di compito quando conosce il risultato complessivo al quale quel compito contribuisce.
Non è sufficiente ripetere che la tecnologia è neutrale. Una tecnologia può avere molteplici applicazioni, ma un progetto specifico possiede finalità, committenti, requisiti, modalità d’impiego e conseguenze prevedibili. Un algoritmo sviluppato per migliorare una diagnosi medica non è moralmente equivalente a un sistema ottimizzato per aumentare la rapidità con cui una persona viene individuata e colpita. Entrambi possono utilizzare reti neurali, riconoscimento delle immagini, correlazione dei dati e calcolo probabilistico. Ciò che cambia è la direzione impressa alla conoscenza.
La neutralità appartiene forse a una formula matematica considerata in astratto. Non appartiene automaticamente alle decisioni di chi sceglie dove applicarla.
Quando un’impresa chiede di migliorare la capacità di riconoscere un bersaglio, ridurre il tempo fra l’identificazione e l’intervento, correlare informazioni provenienti da fonti diverse o stabilire con maggiore rapidità chi debba essere considerato una minaccia, non sta chiedendo una collaborazione scientifica priva di conseguenze. Sta chiedendo di intervenire dentro una catena decisionale che può terminare con l’eliminazione fisica di qualcuno.
Il problema diventa ancora più grave quando il risultato viene mostrato come una prova di efficienza. Una schermata, un filmato o un’immagine successiva all’azione possono trasformare la morte in una metrica. Il corpo umano scompare dietro la parola “successo”. La distruzione diventa una prestazione. L’assenza di movimento viene interpretata come conferma. L’evento irreversibile viene registrato in un rapporto, archiviato in un database e forse utilizzato per addestrare ulteriormente il sistema.
La morte, a quel punto, rischia di diventare persino un dato di apprendimento.
È una prospettiva che dovrebbe scuotere chiunque lavori nel campo dell’intelligenza artificiale. Non stiamo parlando soltanto di armi tradizionali guidate da strumenti più precisi. Stiamo assistendo alla costruzione di apparati capaci di comprimere progressivamente il tempo della decisione umana. Il sistema individua, classifica, assegna un livello di rischio, propone una priorità e produce una raccomandazione. Formalmente, forse, resta un essere umano a premere un pulsante. Ma bisogna domandarsi quanto sia realmente libera e consapevole una decisione presa in pochi secondi, davanti a un’interfaccia che presenta il risultato algoritmico con l’autorità apparente di una verità scientifica.
Una percentuale elevata non è una certezza. Una correlazione non è una prova. Una somiglianza visiva non equivale a un’identità. Un comportamento considerato anomalo da un modello non dimostra un’intenzione ostile. Eppure, quando questi elementi vengono inseriti in un ambiente operativo, il margine di errore non produce semplicemente una previsione sbagliata o una pubblicità mostrata alla persona sbagliata. Può produrre una morte.
Chi programma deve conoscere questa differenza.
Non si può invocare l’eleganza del codice per sottrarsi alla brutalità del suo impiego. Un sistema può essere tecnicamente straordinario e moralmente inaccettabile. Può raggiungere livelli altissimi di precisione e continuare a essere destinato a una finalità che un ricercatore, un ingegnere o uno sviluppatore ha il diritto e, in determinate circostanze, il dovere di rifiutare.
La competenza non è soltanto potere. È responsabilità.
Più una persona comprende la tecnologia, meno può fingere di non comprendere ciò che essa rende possibile. La conoscenza avanzata non offre un alibi; impone un obbligo superiore di valutazione. Chi possiede gli strumenti per aumentare l’efficienza di un sistema deve domandarsi quale risultato verrà reso più efficiente. Non basta sapere se il progetto funziona. Bisogna chiedersi per chi funziona, contro chi viene utilizzato, quali errori può produrre, chi li subirà e quale possibilità avrà la vittima di contestare una decisione presa da una macchina.
Una persona inserita erroneamente in una lista di obiettivi non può presentare ricorso dopo essere stata colpita.
È questa irreversibilità che rende intollerabile ogni leggerezza, ogni entusiasmo commerciale e ogni deresponsabilizzazione tecnica. Nel settore informatico siamo abituati a correggere. Si rilascia una versione, si individuano gli errori, si pubblica un aggiornamento. Ma non esiste una patch capace di restituire la vita a chi è stato ucciso a causa di un’identificazione sbagliata. Non esiste un aggiornamento che possa ricostruire una casa distrutta o cancellare il trauma di un bambino che ha visto morire i propri familiari.
Di fronte alle immagini che ho visto, ho provato vergogna. Non vergogna per la scienza, che rimane uno dei più grandi strumenti di emancipazione dell’umanità. Ho provato vergogna per coloro che accettano di ridurre la propria intelligenza a un moltiplicatore della capacità di uccidere e poi cercano rifugio dietro una formula comoda: “Io mi occupo soltanto della parte tecnica”.
Non esiste un “soltanto” quando la parte tecnica contribuisce consapevolmente a decidere chi debba vivere e chi debba morire.
È qui che nasce l’immagine delle tastiere sporche di sangue. Non perché ogni programmatore che lavori nel settore della difesa debba essere automaticamente considerato responsabile di ogni evento prodotto da un sistema. Una simile generalizzazione sarebbe ingiusta e intellettualmente scorretta. Esistono strumenti difensivi, sistemi di protezione, tecnologie di evacuazione, apparati di rilevamento che possono salvare vite e ridurre i danni. Esistono inoltre persone che operano senza conoscere pienamente la destinazione finale del proprio lavoro.
Ma quando la finalità è conosciuta, quando le conseguenze sono visibili, quando vengono mostrate immagini di esseri umani colpiti come prova dell’efficacia del prodotto, l’ignoranza non è più invocabile. Da quel momento ogni ulteriore miglioramento diventa una scelta.
Anche rifiutare è una scelta.
Mi è stato proposto di mettere a disposizione conoscenze che avrebbero potuto accrescere la capacità del sistema. Avrei potuto accettare, giustificando la decisione con il prestigio dell’interlocutore, con il valore economico della collaborazione, con l’importanza dei contatti o con la possibilità di partecipare a un progetto tecnologicamente avanzato. Avrei potuto convincermi che, in assenza del mio contributo, qualcun altro avrebbe svolto comunque quel lavoro.
È l’argomento più utilizzato per assolvere la coscienza: se non lo faccio io, lo farà un altro.
Ma il fatto che un comportamento possa essere tenuto da altri non rende giusta la mia partecipazione. L’etica personale comincia precisamente nel punto in cui si smette di considerare inevitabile ciò che dipende anche dalle nostre decisioni. Non posso controllare tutte le scelte del mondo, ma posso decidere quale uso consentire delle mie conoscenze.
Il rifiuto non è stato un gesto contro il progresso. È stato un gesto in difesa del significato stesso del progresso. Una tecnologia che perfeziona l’eliminazione dell’essere umano senza rafforzare in misura ancora maggiore il controllo, la trasparenza, la responsabilità e la protezione della vita non rappresenta necessariamente un avanzamento della civiltà. Può essere soltanto una forma più sofisticata di barbarie.
La vera innovazione non consiste nel rendere la morte più rapida, distante e amministrativamente ordinata. Consiste nel costruire sistemi capaci di prevenire i conflitti, proteggere i civili, riconoscere gli errori, interrompere azioni pericolose, documentare violazioni e impedire che una probabilità algoritmica venga trasformata automaticamente in una condanna.
Per questo le imprese tecnologiche dovrebbero essere obbligate a rendere conoscibili le finalità reali dei progetti, i limiti dei sistemi, i dati utilizzati per addestrarli, le percentuali di errore, le procedure di verifica umana e la distribuzione delle responsabilità. Non può essere sufficiente apporre un’etichetta generica di conformità, istituire un comitato etico privo di poteri o affidarsi a clausole contrattuali che scaricano ogni conseguenza sull’utilizzatore finale.
L’etica non può essere una pagina del sito aziendale. Deve avere il potere di fermare un progetto.
Occorrono tecnici capaci di dire no. Ricercatori disposti a rinunciare a un contratto. Dirigenti che non misurino ogni decisione attraverso il fatturato. Investitori che comprendano come non tutto ciò che è redditizio sia legittimo. Istituzioni capaci di controllare realmente i sistemi destinati a incidere sulla vita delle persone. E soprattutto occorre una cultura nella quale lo sviluppatore non venga educato a sentirsi un semplice esecutore, ma un soggetto responsabile delle conseguenze prevedibili del proprio lavoro.
Non chiedo una tecnologia debole. Chiedo una tecnologia sottoposta alla coscienza.
Non chiedo di rinunciare alla sicurezza. Chiedo di non trasformare la sicurezza in una parola capace di giustificare qualsiasi applicazione.
Non chiedo che chi programma risponda di ciò che non poteva sapere. Chiedo che nessuno possa fingere di non vedere dopo aver visto.
Io quelle immagini le ho viste. Ho visto un sistema utilizzare la rappresentazione della distruzione come conferma del risultato. Da quel momento non avrei più potuto trasferire le mie conoscenze senza sapere che esse sarebbero entrate in un meccanismo del quale non condividevo né la logica né le conseguenze.
Per questo ho rifiutato.
Esistono collaborazioni che accrescono un curriculum, ma impoveriscono la dignità. Esistono contratti che portano denaro e tolgono il diritto di dichiararsi estranei. Esistono successi industriali costruiti su una distanza artificiale fra chi scrive un comando e chi ne subisce l’effetto.
E ci sono tastiere che, anche se perfettamente pulite, diventano moralmente sporche di sangue.
La scienza non può limitarsi a domandare ciò che è possibile realizzare. Deve avere il coraggio di stabilire ciò che non deve essere realizzato, ciò che non deve essere perfezionato e ciò a cui un essere umano deve rifiutarsi di contribuire.
La conoscenza che possediamo racconta chi siamo anche attraverso gli impieghi che decidiamo di negarle. Io non trasferirò le mie competenze per rendere più efficiente un sistema che trasforma la morte di una persona nella prova visiva di un obiettivo raggiunto.
Perché nessun algoritmo, nessun contratto e nessuna ragione di mercato possono cancellare una verità elementare: dietro ogni punto individuato su uno schermo può esserci una vita, e chi lo sa non può più dichiararsi innocente soltanto perché non è stato lui a premere l’ultimo pulsante.
Source: Le tastiere sporche di sangue
