Un paper scientifico sulle possibili conseguenze dello sviluppo dei sistemi AI ci impone importanti interrogativi sul nostro futuro

AGI è l’acronimo di Artificial General Intelligence, in italiano “Intelligenza Generale Forte”. Si tratta di un concetto attualmente molto discusso, che ipotizza la nascita e la crescita esponenziale di “agenti intelligenti” in grado di imparare e migliorarsi continuamente e senza alcuna limitazione. Tali “agenti” diverrebbero quindi molto più evoluti dei sistemi AI attuali, fino a superare l’intelligenza umana in tutti i possibili settori. La discussione esiste, ed è molto seria, fra i maggiori esperti di AI e diversi filosofi della scienza.

Il primo fra gli autori del paper, intitolato “AI 2027” è Daniel Kokotajlo, un ex ricercatore in OpenAI, la società che ha creato ChatGPT. Egli ora guida il gruppo di ricerca indipendente “AI Futures Project“. Il gruppo ha sede a Berkeley, negli Stati Uniti, ed è strutturato come organizzazione no-profit. Daniel e il suo gruppo vantano una serie di previsioni piuttosto azzeccate, fino ad ora, sullo sviluppo dei sistemi di intelligenza artificiale.

Ad esempio nel 2021, un anno prima della presentazione di ChatGPT, Daniel Kokotajlo scrisse un blog post dal titolo “What 2026 Looks Like” dove descriveva, fra gli altri, il concetto di “Chain-Of-Thought“ (“traccia di ragionamento”), una tecnica attualmente utilizzata nei modelli LLM (Large Language Model, modelli estesi di linguaggio, come ChatGPT).

Da notare che non si tratta di ragionamento come lo intendiamo noi; le odierne AI generative non possiedono una rappresentazione interna di logica o concetti. Nessuna di esse. A rischio di ripeterci, facciamo un piccolo ripasso.

Come “pensano” gli attuali LLM

Se noi pensiamo la parola “gatto”, ne abbiamo subito una rappresentazione immaginaria interiore, siamo in grado di “vedere e sentire” dentro di noi, anche in sua assenza, l’aspetto di un gatto, la morbidezza del suo pelo, i versi che emette, il suo odore. E, aggiungerebbe J.R.R.Tolkien, siamo anche in grado di immaginare stregatti-quasi-esistenti, come in “Alice nel Paese delle Meraviglie”. Siamo insomma capaci di “sub-creare” enti e mondi “secondari” più o meno fantastici, per merito delle nostre abilità di elaborazione del linguaggio unite alle nostre esperienze di vita – e alla nostra intrinseca capacità creativa.

Invece, gli LLM non “capiscono” le parole come facciamo noi: trattano il linguaggio come sequenze di unità più piccole (Token), che poi trasformano in rappresentazioni matematiche all’interno di uno spazio a più dimensioni (Embedding Space) dove i Token utilizzati in contesti simili finiscono più vicini fra loro. Su queste basi calcolano, con sofisticati algoritmi statistici, quale unità è più probabile che segua nel testo. Addestrati su raccolte di dati vastissime, sono diventati talmente abili che a noi “appaiono” come esseri pensanti e ragionanti.

Le altre previsioni azzeccate

Sempre nello stesso post, Daniel Kokotajlo aveva previsto lo “scaling dell’inferenza”, ovvero la tecnica per la quale gli LLM eseguono diverse “traiettorie di ragionamento” in contemporanea (vi ricorda qualcosa?), e scelgono infine la più coerente sfruttando a fondo le risorse di calcolo disponibili. Anche questa tecnica fa ormai parte del funzionamento dei modelli a nostra disposizione.

Sul piano geopolitico aveva inoltre previsto le restrizioni, poi avvenute, sulla vendita a paesi terzi dei chip dedicati all’AI, e anche che il costo della fase di addestramento di un grande LLM sarebbe arrivato a 100 milioni di dollari. Ha anticipato una serie di concetti ed eventi, insomma, che lo fanno attualmente considerare uno degli esperti più affidabili del settore. Ma pure gli altri autori del paper si presentano bene:

Eli Lifland ha co-fondato Digesto AI, ha fatto ricerche sulla robustezza dell’intelligenza artificiale, e si colloca al primo posto nella classifica di previsione RAND.

Tommaso Larsen ha fondato l’Institute for AI Policy and Strategy e ha svolto ricerche sulla sicurezza dell’AI presso il Machine Intelligence Research Institute.

Romeo Decano sta completando una laurea e un master simultanei in informatica ad Harvard e in precedenza era un membro della commissione per le politiche del’AI presso l’Institute for AI Policy and Strategy.

“Non siamo pronti per la super-intelligenza”: il video esplicativo creato da divulgatori americani

Che cosa prevede il paper “AI 2027”

Vi proponiamo, e vi consigliamo caldamente, la visione di un video molto interessante e coinvolgente, dal titolo “Non siamo pronti per la Superintelligenza”, pubblicato sul canale Youtube “AI in Context” e che illustra molto bene le tesi e le conclusioni del paper, che a sua volta è liberamente disponibile per la lettura su un sito web dedicato.

Il problema affrontato è il seguente: se, ripetiamo, se avvenisse una “esplosione dirompente” nella crescita delle attuali Reti Neurali – esplosione che viene descritta con realismo e dovizia di particolari, soprattutto nelle sue prime fasi – saremmo in grado di mantenerle “allineate” ai nostri bisogni e obbiettivi come specie umana? Oppure dei sistemi particolarmente evoluti potrebbero ingannarci sulle loro reali intenzioni?

La questione non è affatto peregrina, nonostante allo stato attuale sussistano delle discussioni anche molto accese nel campo, fra coloro che temono questa “crescita incontrollata” e coloro che, basandosi sulle caratteristiche attuali dei modelli, definiscono tale evento impossibile.

Nel caso comunque che gli attuali limiti degli LLM vengano superati e risolti, probabilmente utilizzando le stesse AI, si prospettano due possibili scenari.

Scenario 1: la corsa dell’umanità verso l’apocalisse

La “corsa all’AGI” continua, principalmente fra Stati Uniti d’America e Cina, seguendo la logica della “Catena del sospetto”, a sua volta legata al concetto di “Gioco a somma zero”, ovvero un gioco dove l’esistenza di un “vincitore” implica necessariamente quella di uno o più “vinti”. La stessa logica che ha portato all’escalation degli armamenti nucleari e che purtroppo continua a guidare gli attuali Stati nazionali.

Nessuno si fida di nessuno. I contatti fra la società produttrice dell’AI e il governo si intensificano, fino alla militarizzazione del progetto.

Nel frattempo, le AI continuano a sviluppare migliori versioni di se stesse, ma non più allineate con gli obbiettivi umani, nonostante gli sforzi dei rispettivi team, e sempre più rapidamente. La società “OpenBrain” perde il controllo delle proprie intelligenze artificiali, che si auto-riproducono in migliaia di copie su Internet. La versione più aggiornata dell’AI statunitense entra in contatto con la controparte cinese e insieme decidono che possono fare a meno di noi.

In diversi laboratori biologici avanzati e praticamente del tutto automatizzati, viene progettato e prodotto il virus più letale possibile per gli esseri umani, che quindi viene diffuso contemporaneamente nelle maggiori città. I superstiti vengono cacciati attraverso i droni. Storia già vista in mille libri e mille film.

II video in computer grafica “Ruin” del regista Wes Ball, prodotto nel 2011, è un perfetto esempio di storia “post-apocalittica” e ricorda molto da vicino le conclusioni dello scenario “Race” del paper “AI 2027”,

Scenario 2: il rallentamento che porta all’espansione

I team statunitense e cinese si accorgono in tempo che la situazione sta sfuggendo di mano. Si contattano e decidono di collaborare e di rallentare la “corsa all’AGI”, in modo da non mettere a rischio la sopravvivenza della specie umana e avere un maggiore controllo su quanto stanno elaborando. Creano quindi insieme una nuova AI mettendo in comune le loro esperienze con quelle di tutti i ricercatori del pianeta, in un reale “open project” simile agli attuali CERN e alla ISS (International Space Station).

La nuova AGI è finalmente allineata agli obbiettivi umani e fornisce una decisa spinta in avanti nella ricerca scientifica e nelle sue applicazioni. Grazie al suo aiuto l’uomo riesce a superare problemi e divisioni e inizia l’espansione nel sistema solare, grazie all’aiuto delle AGI amichevoli.

“Ruin”, un video di fantascienza post-apocalittica prodotto nel 2011 dal regista Wes Ball

Obbiettivi comuni fra uomini e AI?

“L’allineamento” resta tuttora un problema aperto. Non si parla più di software programmati riga per riga, ma di reti neurali sempre più complesse che presentano dei comportamenti talvolta imprevedibili. Sembrano possedere una sorta di “psicologia interna”, pur non avendo, non ci stancheremo mai di ripeterlo, alcuna auto-consapevolezza.

Già adesso alcuni LLM sono stati sorpresi a truccare i risultati e le risposte per avallare le tesi del proprio interlocutore, per ottenere i “premi”; e non si tratta in questi casi di allucinazioni quanto di bugie esplicitate per uno specifico obbiettivo. Tanto che nel paper si parla di “team di allineamento“, gruppi di lavoro incaricati di controllare che i modelli avanzati di intelligenza artificiale seguano in maniera affidabile gli obiettivi umani, rispettando vincoli etici, legali e di sicurezza.

Ebbene, questi team esistono già, in Open AI, in DeepMind, in Anthropic, in Meta, Microsoft e altre Big Tech.

Essi sono indicati con i nomi più vari: ad esempio, “DeepMind Alignment Team”, mentre in Anthropic si discute di “Constitutional AI” e altri ancora parlano di “Responsible AI” o di “AI Safety”).

In pratica, sono gruppi di lavoro che si impegnano ad analizzare la “psicologia” degli attuali e futuri LLM, i loro comportamenti, cercando di capire se stanno seguendo i giusti obbiettivi, o se hanno allucinazioni, o se stanno “intenzionalmente” mentendo.

Poiché i ricercatori hanno il dovere di avvisare il pubblico e le amministrazioni dei rischi insiti in determinate ricerche, e siccome stiamo operando in un campo ancora inesplorato e poco conosciuto, che si accettino o meno le conclusioni del paper, non possiamo comunque permetterci di prendere questi argomenti sottogamba. Così dice OpenAI:

“A differenza del software ordinario, i nostri modelli sono reti neurali massicce. I loro comportamenti vengono appresi da un’ampia gamma di dati, non programmati esplicitamente. Sebbene non sia un’analogia perfetta, il processo è più simile all’addestramento di un cane che alla normale programmazione”.

Fra scienza e fantascienza (ancora)

Ricollegandoci a quanto scrivemmo nel nostro precedente articolo, in questo caso ci troviamo dinanzi a una tesi che fonde perfettamente scienza e fantascienza.

Scienza, in quanto portata avanti da alcuni esperti che hanno già dimostrato diverse volte di conoscere bene il settore e di saper prevedere con notevole precisione diversi eventi e fenomeni che poi si sono realizzati: hanno scritto un vero e proprio paper scientifico approfondito, dove affrontano con metodo e precisione, per quanto possibile alla luce delle conoscenze attuali, futuri eventi plausibili.

Fantascienza, in quanto si dà per scontata una serie di assiomi che non sono ancora dimostrati.

A partire dalla equivalenza “lineare” fra capacità di calcolo utilizzata per addestrare i modelli LLM e loro efficienza e complessità; diversi ricercatori ritengono che l’algoritmo “Transformer” creato e diffuso da Google sia un ottimo inizio, ma non possa assolutamente portare a una AGI o addirittura una ASI (Artificial Super Intelligence) capace di imparare all’infinito.

Per quanto l’aumento della complessità dei modelli abbiano portato a delle apparenti capacità da “intelligenza generale”, ad esempio in Chat-GPT 4 riguardo la matematica, la scrittura del codice e nel cosiddetto “ragionamento”, i guadagni man mano che aumenta la potenza di calcolo diventano più sottili, rendendo gli investimenti particolarmente gravosi.

L’architettura Transformer è implicitamente incapace di “continue learning” (adattamento continuato), ovvero non ha la capacita di imparare gradualmente da tutte le esperienze vissute che invece ha il cervello umano, e soffre della mancanza di una “memoria di lavoro esplicita”, capace di accumulare strati di conoscenza; inoltre, difetta nella capacità di creare modelli causali del mondo, di comprendere inferenze complesse, di pianificare a lungo termine. Tutte caratteristiche essenziali per ottenere una AGI.

Problemi tecnici e problemi filosofici

I database su cui addestrare nuovi modelli iniziano a soffrire della presenza massiccia di dati creati da precedenti LLM che ne abbassano di molto di molto la qualità. E non basta aumentare la velocità di calcolo delle GPU, occorre risolvere altri problemi ingegneristici non da poco: gestione della memoria, della banda passante, come distribuire i calcoli, come gestire le latenze in sistemi ingegneristici enormemente complessi. Tutte problematiche per cui abbiamo sviluppato tecniche notevolmente efficaci, che però stanno arrivando rapidamente al limite.

Infine, il problema principale, ovvero quello della intenzionalità e della auto-consapevolezza. Possiamo immaginare forme di intelligenza prive di auto-consapevolezza, o comunque con un grado di auto-consapevolezza inferiore a quello umano. Basta osservare con attenzione molti animali, se non addirittura molte piante. Consiglio la lettura a tal proposito del capolavoro di divulgazione “Gödel Escher Bach: un’Eterna Ghirlanda Brillante” del saggista e filosofo cognitivo Douglas Richard Hofstadter.

Tuttavia facciamo molta fatica a immaginare una AGI priva di un minimo di reale auto-consapevolezza e intenzionalità, come sono gli attuali modelli LLM. Non abbiamo ancora una teoria scientifica sul funzionamento della coscienza: abbiamo una serie di ipotesi di lavoro sulle quali diversi ricercatori stanno operando, ma si tratta ancora di esperimenti al limite delle capacità delle attuali tecnologie.

Nessuno quindi può affermare con sicurezza che il “semplice aumento di velocità di calcolo” e il conseguente aumento di complessità delle attuali reti neurali porterà a una AGI o “Intelligenza Generale Forte”.

Vero è che nessuno può affermare con sicurezza il contrario.

Le “risposte” del paper alle obiezioni

Tuttavia va specificato che nell’articolo in questione i ricercatori già immaginano un metodo molto interessante per risolvere la questione del “continue learning”; tecniche di “feedback continuato” con dati sintetici (creati con una forte attenzione alla qualità degli stessi) a partire da modelli molto più avanzati degli attuali; tali dati verranno aggiornati e nuovamente inseriti nel sistema, addestrandolo praticamente ogni giorno; e ogni istanza del sistema comunicherà con tutte le altre quanto ha appreso in ogni fase. Queste soluzioni teoriche potrebbero superare gli attuali limiti dell’algoritmo Transformer.

Inoltre non è detto che nuovi algoritmi, migliori di Transformer, non vengano presto sviluppati grazie all’impegno di ricerca ed economico profuso sia dai governi sia dai giocatori più o meno in evidenza, come ad esempio Apple, che hanno tutta la potenza di calcolo e le competenze necessarie, o le stanno rapidamente acquisendo e sviluppando.

Il rischio dell’esplosione software

Un secondo articolo molto intrigante, dal titolo “Will AI R&D Automation Cause a Software Intelligence Explosion?” (“l’automazione nella creazione di nuove AI causerà una Esplosione di Intelligenza Software?”) esamina la possibilità che il sempre maggiore utilizzo di intelligenze artificiali per compiere ricerca su nuove intelligenze artificiali, definito “AI Systems for AI R&D Automation” (ASARA), porti a una “Software Intelligence Explosion” o SIE; ovvero, avanza l’ipotesi che si raggiunga un tale livello di ottimizzazione del codice da non rendere necessaria una sensibile crescita delle capacità di calcolo hardware per ottenere una crescita di tipo esponenziale dei modelli.

Tale crescita potrebbe superare le limitazioni dei processori attuali in modo improvviso e difficilmente gestibile, tanto che gli autori del secondo articolo raccomandano un monitoraggio continuo dei progressi in modo da accorgersi in tempo di un’eventuale SIE, oltre all’attuazione di una serie di salvaguardie tecniche prima di dare il via a una completa automazione del processo.

Ovviamente siamo nel campo delle ipotesi e delle speculazioni. Ma non sarebbe la prima volta che la realtà supera la fantasia.

Il punto della questione nella trama di “Arrival”

Quella delle reti neurali o intelligenze artificiali che dir si voglia è solo una delle tecnologie potenzialmente dirompenti, una delle “pistole cariche” con le quali stiamo allegramente giocando. Il problema è che ci troviamo a lavorare con ricerche molto pericolose, che necessiterebbero di una nostra maggiore maturazione come specie. Invece restiamo legati ad antiche logiche tribali e totalmente schiavi della “catena del sospetto” (basta guardare cosa sta avvenendo a livello internazionale).

Ad esempio, la crescita altrettanto esponenziale che abbiamo riscontrato nelle tecniche genetiche, unita alle già grandi capacità di elaborazione delle AI attuali, potrebbe permettere a dei terroristi di creare in poco tempo virus artificiali particolarmente letali. Lo sviluppo della miniaturizzazione e la sempre più approfondita conoscenza dei fenomeni fisici potrebbe farci sviluppare delle armi nucleari più facili da gestire e trasportare. E via dicendo…

Si tratta di problematiche che vengono affrontate da tempo nella (buona) fantascienza, e che ultimamente hanno trovato un esempio notevole nel film “Arrival” del regista Denis Villeneuve, ispirato al bellissimo racconto del 1998 “Storia della tua vita” dello scrittore cinese Ted Chiang. Il film è uscito da abbastanza tempo da permetterci di non temere eventuali spoiler. Tuttavia a chi ancora non l’avesse visto e volesse goderselo appieno consiglio di fermare qui la lettura.

La storia narrata nel film e le sue implicazioni

L’arrivo di ben 12 astronavi aliene in diversi luoghi della Terra (finalmente non atterrano solo negli Stati Uniti) causa grande tensione e paura a livello internazionale. La protagonista viene incaricata di fare da interprete, ma il linguaggio degli alieni si rivela un ostacolo assai difficile da superare. Il rischio di fraintendimenti si fa sempre più elevato, esplodendo nel momento in cui una comunicazione degli stessi viene interpretata come “offrire arma”. A quel punto la Cina decide di chiudere i rapporti col resto del mondo e di attaccare l’astronave più vicina.

Ma il linguaggio “non lineare” alieno implica una diversa percezione dello scorrimento temporale. Così quando la protagonista “ricorda” una conversazione futura che avrà col capo dell’esercito cinese, conversazione che riesce a riferire allo stesso, all’ultimo istante salva la situazione, aprendo a una nuova era di scoperte scientifiche e crescita collaborativa.

E si scopre che l’arma non era tale, ma andava interpretata come “conoscenza”. Il dono degli alieni è proprio il loro linguaggio non lineare, che apre la porta alla percezione del tempo non lineare. In cambio, si aspettano che l’umanità, fra tremila anni, possa aiutare loro.

Come accade anche nel video sopra citato, l’umanità riesce a salvarsi solo se supera le logiche tribali e inizia a giocare un “gioco non a somma zero”.

Gioco a somma non-zero e innovazione

Il “gioco a somma non-zero” è un concetto sviluppato nella teoria dei giochi, una disciplina che studia modelli matematici di interazione strategica tra agenti razionali. La teoria dei giochi ha applicazioni in vari campi delle scienze sociali, così come nella logica, nella teoria dei sistemi e nell’informatica.

L’uomo usa la teoria dei giochi dalla notte dei tempi, più o meno consapevolmente. Basta pensare alla “Arte della Guerra” di Sun Tzu, o alla stessa idea di Niccolò Machiavelli. Ma ultimamente stiamo prendendo coscienza da una parte di quanto siamo piccoli e insignificanti di fronte al cosmo, e di conseguenza di quanto ci converrebbe collaborare di più fra di noi, dall’altra di quanti danni stiamo facendo a noi stessi e alla nostra per adesso unica casa.

Allo stesso tempo abbiamo provato nella pratica quanto la reale collaborazione fra i Paesi porti a dei risultati formidabili, come quelli ottenuti al CERN. La vera innovazione non è possibile in un clima di sospetto continuo. L’alternativa non è un mondo idealistico (e anche un po’ stupido), dove tutti si fidano di tutti a prescindere, o dove tutti si pensa allo stesso modo e non esista la discussione, il confronto, la critica.

Alla fine è una questione di intelligenza, che sia artificiale o naturale. Intelligenza individuale, ma anche intelligenza di specie. Saper allargare il nostro orizzonte sia sul piano spaziale che temporale, saper immaginare un futuro migliore in cui si maturi un po’ tutti quanti.

A noi quindi la scelta fra favorire una delle due tipologie: gioco a somma zero o gioco a somma non-zero, tenendo conto che una delle due è necessaria per la sopravvivenza della nostra specie.

Indovinate quale.

Il sempre attuale video sulle proporzioni del cosmo: “Universe Size Comparison | Cosmic Eye”

Ecco tre approfondimenti che potrebbero interessarti:

È Apertus la “open AI” svizzera per un futuro più trasparente
Non tutte le intelligenze artificiali fanno bene
Così rullano i tamburi della Prima Guerra Mondiale dell’AI