Una riflessione di Norberto Patrignani a partire dall’articolo “Lambda, il robot con l’anima” pubblicato il 12 giugno su Il Manifesto
Le persone esperte di informatica sanno come è fatto un sistema e come funziona: è tempo di chiedersi come e perché progettarlo? Chi lo userà, per quali scopi? Fino alla domanda cruciale: se progettarlo.
Dopo aver visto la prima reazione atomica a catena, la notte del 3 Marzo 1939, il grande fisico Leo Szilard (1898-1964) scrive: “… spegnemmo tutto e tornammo a casa. Quella notte, nella mia mente non vi era il minimo dubbio che il mondo era diretto verso un grande dolore” (Klein, 1992). Nel Giugno 1945 Szilard firma il Rapporto Frank insieme a importanti fisici del progetto Manhattan per sconsigliare il governo degli Stati Uniti a usare la bomba. La storia purtroppo conferma i presentimenti di Szilard e, dopo il lancio della prima bomba atomica su Hiroshima il 6 Agosto del 1945, il fisico Robert Oppenheimer scrive:“i fisici hanno conosciuto il peccato”.
Lo stesso rischio stanno correndo gli informatici
In tutto il mondo in questi anni è emerso un grande movimento, Stop Killer Robots, per la messa al bando delle “armi autonome“, i cosiddetti “sistemi di armi autonome letali” (Lethal Autonomous Weapon Systems, LAWS) che, una volta attivati, sono capaci di selezionare e attaccare un obiettivo senza ulteriori interventi da parte degli umani (SKR, 2022).
Nel mese di Marzo 2022 la Croce Rossa internazionale ha preso una posizione nettamente contraria a questi sistemi perché “…la vita umana non può essere decisa da sensori e da calcoli di un computer” (ICRC, 2022).
Nel mese di Maggio 2022 la campagna Stop Killer Robots ha rilasciato un film molto importante, “Immoral Code” (IC, 2022), per sensibilizzare su questi temi. D’altra parte gli sviluppi della cosiddetta “intelligenza” artificiale sono sulle prime pagine dei giornali quotidianamente. Addirittura si parla di sistemi ormai dotati di una “coscienza” (Capocci, 2022).
Il grande rischio è quello di assistere a periodiche ondate di campagne marketing, spesso provenienti (non a caso) dalla Silicon Valley, che hanno come unico effetto quello di stupire e accelerare un certo tipo di “capitalismo della sorveglianza” (Zuboff, 2018) che concentra la ricchezza e il potere nelle mani di pochissimi. Perché pochissime sono le organizzazioni in grado di memorizzare e elaborare le immense quantità di dati necessarie per ottenere le strabilianti prestazioni di queste cosiddette “intelligenze” artificiali. Perché, come insegna la filosofa della scienza Deborah Johnson: “la tecnologia non è neutra, tecnologia e società si plasmano a vicenda” (Johnson, 1985): una grande concentrazione di potenza di calcolo, crea una grande concentrazione di ricchezza e potere economico.
La nuova stagione della cosiddetta “intelligenza” artificiale si basa proprio sulla disponibilità di grandi quantità di dati.
Infatti rispetto ai software tradizionali basati su algoritmi tradotti in linguaggi di programmazione per poi essere caricati in codice binario nella memoria del computer per essere eseguiti, i nuovi algoritmi cosiddetti “di apprendimento” si ispirano alle reti neurali. Quando ricevono i dati in ingresso queste reti artificiali, costituite da nodi e interconnessioni, iniziano ad affinare i parametri di connessione tra i nodi stessi. Dunque l’algoritmo definito in fase di progettazione e caricato in memoria per l’esecuzione è dinamico e consiste nel fornire i criteri di “calibrazione” delle connessioni a seconda dei dati letti. Più dati vengono letti più la rete diventa precisa rispetto all’obiettivo, allo scopo (ad esempio simulare il linguaggio parlato).
Ecco perché servono tanti dati e giganteschi centri di elaborazione per simulare queste “reti neurali“: il sistema LaMDA di Google, diventato famoso ai primi di Giugno, è basato su 137 miliardi di parametri (Google, 2022). Come tutte le concentrazioni di potenza, anche quella informatica ha le sue conseguenze: la ricchezza creata da questi sistemi è sempre più concentrata in poche mani e i rischi di usi inappropriati di queste tecnologie suggeriscono alcune precauzioni minime, ad esempio, imporre a chi offre interfacce “conversazionali” di avvertire esplicitamente la persona di fronte allo schermo che sta “parlando” con una macchina. Inoltre vi sono anche impatti ambientali non trascurabili: alcuni ricercatori hanno stimato che la “calibrazione” di una sola grande rete “neurale” (quello che viene impropriamente chiamato “apprendimento“) può richiedere una quantità di energia connessa all’emissione di 284 tonnellate di CO2 (Strubel e al., 2019).
Ma l’aspetto più inquietante connesso agli annunci legati al sistema LaMBDA è la sua apparente intelligenza: le sue “conversazioni” porterebbero addirittura a pensare che sia dotato di “coscienza“.
Ecco di nuovo il Test di Turing del 1950! Una macchina in grado di ingannare un umano in una conversazione si può definire “intelligente“? In grado di “pensare“? Uno dei più grandi scienziati dei computer, Edsger Dijkstra, liquidava così la questione: “…la domanda ‘se un computer può pensare’ è come chiedersi ‘se un sottomarino sa nuotare’ ” (Dijkstra, 1972). Allora perché tutta questa enfasi? Perché questo uso improprio di termini così seducenti come “apprendimento“, “intelligenza” riferito a macchine progettate da umani? Una grande scienziata del settore, Melanie Mitchell, avverte che questo contribuisce a creare dei veri e propri “miti“, creando false analogie con la mente umana, illudendo dell’esistenza di una “scala dell’intelligenza”, quando esistono molte forme di comunicazione e ogni specie vivente è evoluta ugualmente, quando il senso comune appreso con un corpo vivente permette di comprendere la realtà, di scoprire relazioni e interconnessioni, oltre l’evidenza, oltre le apparenze (Mitchell, 2022).
Quali sono i rischi connessi?
Il primo consiste in un impercettibile “slittamento epistemologico” dalla previsione, alla predizione, fino alla prescrizione. Infatti l’illusione di creare “intelligenze” sovrumane, perché in grado di elaborare quantità di dati inaccessibili all’umano, sta sostituendo piano piano l’uso delle macchine per fare previsioni (prae-videre, utili per stimare possibili eventi futuri), all’uso delle macchine per fare predizioni (prae- dicere, utili per formulare ipotesi future), fino ad arrivare a delegare completamente alle macchine, la macchina fa prescrizioni (praescribere, ordina e l’umano esegue).
La delega alle macchine di scelte importanti irriducibili ad un algoritmo, ad un calcolo, rischia di portare al “sonno della ragione” (Goya, 1746-1828). Come raccomandava uno dei fondatori dell’informatica, Norbert Wiener (1894-1964): “…prima di delegare alla macchina scelte sarà meglio assicurarsi che lo scopo che immettiamo nella macchina sia lo scopo che realmente desideriamo” (Wiener, 1960). Forse aveva ragione Goethe che nell’Apprendista stregone (1797) metteva in guardia dal rinunciare alle responsabilità delegandole ad una macchina.
Non è forse questa la più profonda motivazione per la messa al bando delle armi autonome della campagna internazionale Stop Killer Robots? Forse è tempo di fermarsi a riflettere anche per gli informatici. Nel nostro tempo, le persone esperte di informatica, devono assumersi la responsabilità di dire cosa può essere e cosa non può essere automatizzato. Infine una proposta: non usare il termine “intelligenza artificiale“, meglio parlare di “algoritmi dinamici che si calibrano con (tanti) dati”
Quando è iniziata questa storia?
Il sogno di una “macchina che ragiona” è antichissimo. Si può ricordare Raimundo Lulio (1232-1316) che già nel 1274 immagina la macchina chiamata Ars Magna in grado di dimostrare se una proposizione è vera o falsa (Martin, 1968). Come pure Gottfried Leibniz (1646-1716) che nel 1671 vuole creare un sistema per gestire la conoscenza umana e che introduce il sistema binario, forse ispirandosi all’antico I-Ching cinese basato su simboli a due configurazioni. Ma è nel 1801 che le prime macchine “automatiche” entrano nelle fabbriche tessili con i telai Jacquard, macchine a schede perforate in grado di accelerare la produzione. Infatti nell’Ottobre 1831 a Lione, dove si concentra l’industria tessile, si scatena la “Rivolta dei Canuts” (tessitori), preoccupati dell’impatto dell’automazione sul loro lavoro. In Inghilterra, in piena rivoluzione industriale, è Charles Babbage (1791-1871) che, volendo migliorare la precisione delle tavole matematiche e indagare le possibilità della meccanizzazione della nascente industria manifatturiera, progetta il primo “calcolatore programmabile“. La sua idea si ferma a un unico prototipo meccanico. Deve passare ancora un secolo per arrivare al 1937, quando il matematico Alan Turing (1912-1954) propone l’idea di “macchina universale“. Turing va negli USA, a Princeton, per il suo dottorato di ricerca e qui incontra il suo “tutor” John Von Neumann. Proprio Von Neumann, con le tecnologie elettroniche e con gli immensi finanziamenti disponibili del progetto Manhattan, ispirato dalle idee di Turing, progetta il primo computer che risulta cruciale per i calcoli necessari allo sviluppo della prima bomba atomica.
Nasce così il computer, la macchina per eseguire algoritmi.
Turing è il primo ad usare il termine “intelligenza” nel suo articolo “Computer machinery and intelligence“, anche se evita accuratamente di parlare di “intelligenza” artificiale. Infatti aggira la domanda sulle capacità di “pensiero” del computer in modo pragmatico proponendo un esperimento: si consideri un uomo e una donna che dialogano, scrivendo a macchina, con una terza persona a distanza, la terza persona deve stabilire chi è l’uomo e chi è la donna tra i primi due, basandosi solo sulle risposte che essi forniscono. Attenzione però: l’uomo tenta di ingannare l’interlocutore, mentre la donna cerca di aiutarlo; se, sostituendo l’uomo con una macchina, la terza persona ha risultati simili alla prima situazione, allora la macchina imita l’umano, le sue risposte sono indistinguibili da quelle di un umano. Infatti è il gioco dell’imitazione, il famoso Test di Turing (Turing, 1950).
Riprendendo queste idee, nel 1955, ricercatori dell’IBM, della Harvard University e dei Laboratori Bell lanciano un “Programma di Ricerca sull’Intelligenza Artificiale” molto ambizioso (McCarthy e al., 1955). Cominciano gli annunci roboanti: “in venti anni la macchina sarà in grado di fare qualsiasi lavoro che fa l’uomo” (Simon), “in una generazione il problema di creare una intelligenza artificiale sarà sostanzialmente risolto” (Minsky). Tutto questo contribuisce ad ottenere ingenti finanziamenti per queste ricerche. Dopo qualche anno però, visti gli scarsi risultati, il clima si raffredda.
Nel 1966, uno dei pionieri di questo settore, Joseph Weizenbaum, progetta il sistema ELIZA, forse il primo programma che simula un dialogo tramite telescrivente. (nota: nei “dialoghi” tra i ricercatori di Google e LaMBDA pubblicati in questi giorni viene citato il programma ELIZA del 1966 scritto da Weizenbaum). Un giorno entrando nel suo ufficio al MIT, trova l’assistente che sta “parlando” con ELIZA e gli chiede di uscire perché il contenuto della “conversazione” sta diventando confidenziale (Weizenbaum, 1966). Questo episodio spinge Weizenbaum verso una seria riflessione sui limiti e sui rischi della “intelligenza” artificiale e pubblica uno dei testi fondamentali dell’etica digitale: “Il potere del computer e la ragione umana” (Weizenbaum, 1976). In esso propone di distinguere tra “Decisioni” (che si possono affrontare con attività computazionali, che quindi possono essere programmate su un computer) e “Scelte” (che comportano un giudizio, non sono il risultato di un calcolo; è proprio la capacità di scegliere che ci rende umani). Le “Scelte” sono funzioni umane che non dovrebbero essere delegate a macchine (Weienbaum, 1976). (nota: chi scrive ha incontrato Weizenbaum nel 1991 a Namur, in Belgio, per un incontro della International Federation for Information Processing, IFIP, dove l’episodio dell’assistente è stato raccontato direttamente da Weizenbaum). Nel 1972 il filosofo della scienza Huber Dreyfuss è stroncante e smonta i presupposti principali delle ricerche sulla cosiddetta “intelligenza” artificiale:
- il presupposto biologico (secondo il quale il cervello elabora le informazioni in operazioni discrete tramite qualche equivalente biologico di interruttori on/off),
- il presupposto psicologico (secondo il quale la mente può essere vista come un dispositivo che opera su bit di informazioni secondo regole formali),
- il presupposto epistemologico (secondo il quale tutte le conoscenze possono essere formalizzate)
- il presupposto ontologico (secondo il quale il mondo è costituito da fatti indipendenti che possono essere rappresentati da simboli indipendenti)
In sostanza Dreyfuss contesta la concezione dell’intelligenza basata sulla semplice esecuzione di regole (Dreyfuss, 1972). Nel frattempo la rete Internet (1973) copre il pianeta e il Web (1989) diventa l’interfaccia usata ormai da oltre cinque miliardi di persone (Internetstats, 2022). Un altro fatto storico va ricordato, forse la svolta più importante nella formazione della cosiddetta “infosfera“: nel 1996 il Congresso degli Stati Uniti approva il Telecommunication Acts, la più grande riforma delle telecomunicazioni della storia.
Tre i punti principali
le imprese dell’online business hanno enormi vantaggi fiscali, non sono soggette alle norme contro i monopoli e, soprattutto, non sono responsabili dei contenuti diffusi online. Una miscela che fa tramontare definitivamente l’Internet sognata degli anni iniziali, con la sua accessibilità alla conoscenza e la sua architettura decentrata. Dopo quella dei grandi calcolatori (es. Olivetti ELEA 9003 del 1959), quella dei personal computer (es. Olivetti P101 del 1965), inizia la terza era dell’informatica basata sull’architettura centralizzata del cloud computing. Dal 2007, con la diffusione sul mercato di milardi di smartphone, gli utenti diventano “consumatori digitali“, nelle loro mani hanno solo l’input e
l’output di un touchscreen che, senza connessione, può fare ben poco. Ma connessi con chi? I miliardi di utenti della rete sono connessi a giganteschi centri di elaborazione che forniscono servizi online per la maggior parte gratuiti. Usando questi servizi le persone forniscono un flusso continuo di dati di dimensioni inimmaginabili: nel 2022 il traffico in rete è stimato in 4,8 Zettabyte / anno, 10 elevato alla 21a potenza, mille miliardi di Gigabyte / anno, una quantità di dati immensa, dove il 71% è costituito da video (VNI, 2022). I fornitori di questi servizi online sono le uniche organizzazioni sul pianeta in grado di memorizzare e di elaborare queste quantità di dati. Nel 2021, tra le dieci più grandi imprese del mondo, ben sette sono i gestori dei giganteschi centri di elaborazione del cloud computing: Apple, Microsoft, Google, Amazon, Facebook, Tencent, Alibaba (Forbes, 2021). I servizi online gratuiti vengono ripagati dagli utenti con la fornitura dei loro dati, rivenduti dai gestori agli inserzionisti pubblicitari.
Questo ha creato quello che Shoshana Zuboff chiama “Capitalismo della sorveglianza“: questi dati vengono usati per personalizzare i servizi fino a creare una vera e propria dipendenza. Infatti non esiste nessun media in grado di fornire 24 ore su 24 servizi così personalizzati, condizionati dalla presenza su una rete sociale e governati da sofisticati algoritmi di “intelligenza” artificiale: “il capitalismo manageriale andava a caccia del nostro corpo per automatizzarlo. Il capitalismo della sorveglianza va a caccia della nostra mente per automatizzarla” (Zuboff, 2019).
Riferimenti
– Capocci, A. (2022, 14 Giugno). Lambda, il robot con l’anima, il manifesto
– Dijkstra, E.W. (1972). Notes On Structured Programming, Tech.University of Eindhoven
– Dreyfuss, H. (1972), What computers can’t do, MIT Press.
– FCC(1996). Federal Communications Commission, The Telecommunications Act of 1996, fcc.gov
– Forbes (2021). The top ten companies in the world, forbes.com
– Google (2022). https://ai.googleblog.com/2022/01/lamda-towards-safe-grounded-and-high.html
– IC (2022). Immoral Code, https://immoralcode.io/
– ICRC (2022). International Committee of the Red Cross, https://www.icrc.org/en/document/icrc-autonomous-adopt- new-rules
– Johnson, D. (1985). Computer Ethics, Pearson
– Klein G. (1992). The Atheist and the Holy City: Encounters and Reflections, MIT Press
– Martin, G. (1968). The Ars Magna of Ramon Lull, in Logic Machines, Diagrams and Boolean Algebra, Dover Publications
– McCarthy, J., Minsky, M.L., Rochester, N., Shannon, C.E. (1955). A Proposal for the Dartmouth Summer Research Project on Artificial Intelligence, August 31, 1955, AI Magazine, 2006, vol. XXVII
– Mitchell, M. (2021). Why AI is harder than we think, Santa Fe’ Institute
– SKR (2022). Stop Killer Robots, https://www.stopkillerrobots.org/
– Strubell, E. Ganesh, A., McCallum, A. (2019). Energy and Policy Considerations for Deep Learning in NLP, arXiv.org
– Turing, A.M. (1950). Computing machinery and intelligence. Mind, 59, 433-460.
– VNI (2022). Visual Networing Index 2022, Cisco
– Weizenbaum, J. (1966). ELIZA – A Computer Program for the Study of Natural Language Communication between Man and Machine, in – Communications of the ACM, vol. 9, n. 1, 1966, pp. 36-45 Weizenbaum, J. (1976). Computer Power and Human Reason: From Judgment To Calculation, Freeman
– Wiener, N. (1960). Some Moral and Technical Consequences of Automation, Science, May 6
– Zuboff S. (2019). The Age of Survellance Capitalism, PublicAffairs
Norberto Patrignani