Quattro moduli specializzati cooperano nel nuovo modello MiCRo, progettato per rendere più leggibili e controllabili i processi decisionali

Negli ultimi anni i Large Language Model o LLM hanno modificato profondamente il rapporto tra esseri umani e sistemi di intelligenza artificiale. Dalla generazione di testi alla programmazione software, passando per la traduzione automatica, l’analisi documentale e il supporto alla ricerca scientifica, queste reti neurali hanno raggiunto livelli di accuratezza impensabili fino a pochi anni fa. La loro crescente diffusione, tuttavia, ha portato con sé un interrogativo che accompagna ormai gran parte del dibattito scientifico: è possibile comprendere davvero come questi sistemi arrivino alle conclusioni che producono?

La questione non è puramente accademica. In ambiti come la medicina, la finanza, la giustizia o la progettazione industriale, sapere perché un algoritmo abbia formulato una determinata risposta può essere importante quanto la risposta stessa. La maggior parte dei modelli oggi disponibili continua invece a comportarsi come una “black box”: il risultato è visibile, mentre il percorso computazionale seguito dalla rete neurale rimane in larga parte opaco perfino ai suoi sviluppatori.

È proprio su questo limite che interviene una ricerca dell’École Polytechnique Fédérale de Lausanne (EPFL), in Svizzera. Un gruppo di studiosi ha sviluppato MiCRo, acronimo di Mixture of Cognitive Reasoners, un’architettura modulare basata sui Transformer e progettata per indurre una specializzazione funzionale fra differenti componenti del modello.

MiCRo non cerca di riprodurre fedelmente la struttura biologica del cervello umano e non dimostra che una rete neurale artificiale pensi come una persona. Riprende invece un principio generale osservato nelle neuroscienze cognitive: l’intelligenza umana non dipende da un’unica area indistinta, ma dall’interazione fra reti specializzate in funzioni differenti, come il linguaggio, il ragionamento logico, la comprensione sociale e il recupero delle conoscenze.

Il progetto nasce dall’incontro fra linguistica computazionale, machine learning e neuroscienze. Gli autori sono Badr AlKhamissi, Nicolò De Sabbata, Greta Tuckute, Zeming Chen, Martin Schrimpf e Antoine Bosselut, con affiliazioni all’EPFL, al Massachusetts Institute of Technology e all’Università di Harvard. Il lavoro è stato accolto dalla quattordicesima edizione dell’International Conference on Learning Representations, in programma in questo 2026.

Quattro “esperti” cognitivi dentro un modello Transformer

La caratteristica distintiva di MiCRo consiste nel suddividere gli strati di un modello linguistico preaddestrato in quattro moduli esperti, associati ad altrettante funzioni cognitive. Non si tratta di quattro sistemi indipendenti che si consultano fra loro, ma di componenti specializzate integrate nella medesima architettura Transformer.

Il primo modulo è dedicato al linguaggio e interviene soprattutto nell’elaborazione delle strutture linguistiche. Il secondo è associato alla logica, alla risoluzione dei problemi e al ragionamento astratto. Il terzo riguarda la cognizione sociale, cioè la capacità di interpretare intenzioni, emozioni, relazioni interpersonali e forme di comunicazione implicita. Il quarto integra la conoscenza del mondo, collegando informazioni, ricordi e sequenze narrative distribuite nel tempo.

Quest’ultimo modulo trae ispirazione dal cosiddetto “default mode network”, una rete cerebrale studiata per il suo coinvolgimento nel recupero dei ricordi, nella costruzione di rappresentazioni narrative e nell’immaginazione di eventi futuri. Il riferimento non implica che il modulo artificiale riproduca i meccanismi biologici della mente, ma serve a definire il genere di funzione che gli studiosi hanno cercato di indurre durante l’addestramento.

Rispetto a un modello Transformer denso, nel quale gli stessi blocchi partecipano indistintamente a elaborazioni di natura diversa, MiCRo introduce quindi una forma di organizzazione interna più leggibile. Un apposito router decide a quali esperti assegnare i token nelle differenti fasi dell’elaborazione, selezionando le componenti considerate più pertinenti rispetto alla richiesta ricevuta.

L’approccio presenta alcune analogie con le architetture “Mixture of Experts”, già utilizzate per distribuire il calcolo fra moduli differenti. Nel caso di MiCRo, tuttavia, la modularità non è concepita soltanto come strumento per aumentare l’efficienza, ma come mezzo per indurre competenze funzionali riconoscibili e analizzarne il contributo alla risposta finale.

Tre fasi di addestramento per guidare i moduli più “esperti”

Il percorso di addestramento si svolge in tre fasi. Inizialmente vengono allenati soltanto gli esperti attraverso un insieme di dati selezionato, in modo da fornire a ciascun modulo un primo orientamento funzionale. Successivamente il resto dell’architettura viene congelato e viene addestrato il router, affinché impari a scegliere l’esperto più pertinente. Nella terza fase, l’intero sistema viene perfezionato congiuntamente su una raccolta più ampia di istruzioni.

Questa procedura mira a evitare che i nomi attribuiti ai moduli rimangano semplici etichette. Perché l’architettura sia realmente significativa, infatti, le richieste di natura differente devono attivare componenti diverse in maniera coerente con la specializzazione prevista.

Routing, ablazioni e benchmark verificano le specializzazioni

Le analisi condotte dai ricercatori indicano che MiCRo sviluppa percorsi di routing coerenti con le funzioni assegnate ai quattro esperti. I problemi aritmetici vengono indirizzati prevalentemente verso il modulo logico, mentre i compiti relativi alla comprensione delle intenzioni e delle relazioni fra persone coinvolgono maggiormente l’esperto sociale.

Il modulo linguistico tende invece ad attivarsi frequentemente negli strati iniziali del modello. Si tratta di un comportamento compatibile con il carattere trasversale del linguaggio, necessario per interpretare la richiesta prima che le altre componenti possano intervenire sugli aspetti logici, sociali o relativi alla conoscenza del mondo.

Per verificare che gli esperti avessero acquisito ruoli concretamente differenti, il gruppo non si è limitato a osservare la distribuzione dei token. Ha condotto anche prove di ablazione, una tecnica sperimentale che consiste nel disattivare una componente del sistema per misurare come cambino le prestazioni complessive.

La rimozione dell’esperto logico provoca un marcato peggioramento nei benchmark matematici MATH e GSM8K. L’esclusione del modulo sociale può invece determinare piccoli miglioramenti nei test esclusivamente numerici, perché elimina il contributo di una componente poco pertinente rispetto al compito affrontato.

Per prove più eterogenee, come quelle incluse nei benchmark MMLU e BBH, la distribuzione dei contributi appare più articolata. Alcuni sottocompiti dipendono principalmente da un esperto, mentre altri richiedono la collaborazione di più moduli. È un risultato coerente con la natura dei problemi complessi, che raramente possono essere ricondotti a una sola capacità cognitiva.

Gli studiosi hanno inoltre applicato al modello alcuni strumenti sperimentali derivati dalle neuroscienze. I cosiddetti localizzatori funzionali sono stati utilizzati per esaminare la selettività delle unità interne rispetto a tre ambiti: linguaggio, ragionamento generale e teoria della mente, cioè la capacità di rappresentare pensieri e intenzioni altrui.

Queste analisi hanno permesso di individuare unità funzionalmente specializzate distribuite fra esperti e strati. I risultati non implicano una corrispondenza diretta fra neuroni biologici e unità artificiali, ma offrono un ulteriore strumento per verificare se la suddivisione modulare produca effettivamente comportamenti differenziati.

Sul piano delle prestazioni, le versioni MiCRo-Llama-1B e MiCRo-Llama-3B, basate rispettivamente su modelli da uno e tre miliardi di parametri, sono state confrontate con modelli densi e configurazioni modulari prive della medesima specializzazione cognitiva.

Nei test riportati dagli autori, MiCRo ha eguagliato o superato le baseline considerate su diversi benchmark di matematica, conoscenza generale e ragionamento, fra cui GSM8K, Minerva-Math, MMLU e BBH. I risultati non significano che l’architettura superi tutti i modelli linguistici disponibili, ma mostrano che l’introduzione della specializzazione non richiede necessariamente di sacrificare le prestazioni.

Il sistema è stato valutato anche con CogBench, un insieme di esperimenti che confronta il comportamento dei modelli linguistici con schemi emersi da classici test psicologici condotti sugli esseri umani. Le varianti MiCRo hanno mostrato una maggiore somiglianza rispetto alle rispettive versioni dense e alle altre configurazioni modulari utilizzate come confronto.

Neppure questo risultato dimostra che la rete ragioni come una persona in senso biologico, cosciente o generale. Indica piuttosto che una struttura ispirata alla specializzazione funzionale può riprodurre più fedelmente alcuni specifici modelli di comportamento osservati negli esperimenti cognitivi.

Dai test cognitivi all’effettiva trasparenza del nuovo modello

“In alcuni casi, le capacità di questi sistemi hanno superato la nostra comprensione del loro funzionamento. Se riusciamo a capire meglio come queste macchine comprendono le informazioni, possiamo progettare sistemi migliori e sviluppare regolamentazioni più efficaci”,

secondo Antoine Bosselut, direttore del Natural Language Processing Laboratory dell’EPFL.

Pur riferendosi più in generale all’evoluzione dei grandi modelli linguistici, questa riflessione riassume efficacemente anche l’obiettivo perseguito da MiCRo. L’architettura sviluppata all’EPFL non cerca infatti di imitare il cervello umano, ma di rendere più osservabile il modo in cui differenti componenti specializzate contribuiscono alla costruzione di una risposta, offrendo ai ricercatori strumenti aggiuntivi per analizzare il comportamento dei modelli.

Adesso un controllo più diretto sul percorso computazionale

La modularità di MiCRo non consente soltanto di osservare quali componenti intervengano durante l’elaborazione. L’architettura permette anche di modificare il comportamento del modello in fase di inferenza, indirizzando i token verso determinati esperti o attribuendo loro un peso maggiore.

Il sistema può, per esempio, essere orientato a privilegiare l’elaborazione sociale rispetto a quella logica, oppure a enfatizzare la componente più pertinente a un compito matematico. Questa possibilità introduce un controllo più granulare rispetto a quello esercitato esclusivamente attraverso le istruzioni testuali contenute nel prompt.

Non significa che il funzionamento diventi completamente deterministico né che sia possibile prevedere ogni risposta. Il routing rimane parte di una rete neurale complessa e probabilistica. La possibilità di osservare e modificare la selezione degli esperti offre però ai ricercatori un livello aggiuntivo di analisi e intervento sul percorso computazionale.

Questo aspetto potrebbe risultare interessante per lo sviluppo futuro di applicazioni specializzate. Un assistente educativo potrebbe attribuire maggiore importanza al ragionamento logico e alla chiarezza linguistica, mentre un sistema destinato all’analisi delle interazioni umane potrebbe valorizzare maggiormente il modulo sociale.

Si tratta tuttavia di prospettive applicative e non di usi già validati dallo studio. Il lavoro dell’EPFL riguarda un’architettura sperimentale di dimensioni relativamente contenute rispetto ai maggiori modelli commerciali e non ne valuta direttamente l’impiego in sanità, finanza, giustizia o pubblica amministrazione.

MiCRo non risolve inoltre in maniera automatica il problema della spiegabilità. Sapere che un token è stato assegnato all’esperto logico o sociale non equivale a disporre di una spiegazione completa delle ragioni che hanno prodotto una determinata frase. La struttura non elimina neppure allucinazioni, distorsioni presenti nei dati, correlazioni spurie o altri comportamenti inattesi.

L’architettura offre piuttosto un livello intermedio di osservazione. Invece di analizzare soltanto una distribuzione indistinta di informazioni fra miliardi di parametri, gli sviluppatori possono esaminare il comportamento dei singoli esperti, le decisioni del router e le conseguenze della disattivazione di una componente.

Se un modello dovesse mostrare difficoltà ricorrenti nei compiti matematici, per esempio, diventerebbe possibile concentrare l’analisi sul modulo logico, sul router o sui dati utilizzati per indurne la specializzazione. Nei modelli monolitici individuare l’origine di un errore può richiedere indagini più ampie e meno conclusive.

Interpretabilità, regole europee e le prossime sfide dell’AI

La ricerca del Politecnico Federale di Losanna si inserisce in un cambiamento più generale nella progettazione dei modelli linguistici. Dopo una fase dominata soprattutto dall’aumento dei parametri, della capacità di calcolo e delle dimensioni dei dataset, numerosi gruppi stanno esplorando strategie che puntano su modularità, efficienza, controllabilità e interpretabilità.

Il numero dei parametri continua a rappresentare un elemento importante, ma non è necessariamente l’unica strada per migliorare le capacità dell’intelligenza artificiale. Il lavoro su MiCRo suggerisce che anche l’organizzazione interna del modello e l’introduzione di specifici vincoli durante l’addestramento possano produrre vantaggi misurabili.

La possibilità di analizzare meglio il comportamento dei sistemi assume interesse anche nel quadro normativo europeo. L’AI Act è entrato in vigore il primo agosto 2024, mentre gli obblighi riguardanti la governance e i modelli di intelligenza artificiale per finalità generali sono diventati applicabili il 2 agosto 2025. Il regolamento prevede, fra gli altri aspetti, obblighi relativi alla documentazione tecnica, alla trasparenza, alla condivisione delle informazioni e alla gestione dei rischi.

MiCRo non è stato progettato per garantire la conformità all’AI Act e la sua struttura modulare non è sufficiente, da sola, per soddisfare gli obblighi normativi. Architetture capaci di rendere più osservabili i processi interni potrebbero tuttavia contribuire, in prospettiva, alle attività di analisi, validazione e auditing condotte da sviluppatori e utilizzatori professionali.

Restano aperte numerose questioni. Occorrerà verificare se la specializzazione osservata nei modelli da uno e tre miliardi di parametri possa essere mantenuta in sistemi molto più grandi, addestrati su dataset maggiormente eterogenei e sottoposti a richieste ambigue provenienti da contesti reali.

Il passaggio a decine o centinaia di miliardi di parametri potrebbe rendere più difficile preservare confini funzionali netti fra gli esperti. Sarà inoltre necessario valutare i costi computazionali dell’addestramento, la stabilità del routing, la possibilità che i moduli perdano progressivamente la propria specializzazione e gli eventuali compromessi fra trasparenza e qualità delle risposte.

Il progetto non rappresenta dunque una soluzione definitiva alla natura opaca dei modelli linguistici. Indica però una possibile direzione alternativa rispetto alla semplice crescita dimensionale: costruire sistemi nei quali le capacità emergano non soltanto dalla quantità dei parametri, ma anche da una struttura interna organizzata secondo funzioni riconoscibili.

In un settore nel quale le prestazioni crescono rapidamente, ma la fiducia degli utenti e la verificabilità continuano a rappresentare problemi aperti, comprendere quale componente abbia contribuito a una risposta potrebbe diventare quasi importante quanto la risposta stessa. La sfida per le future generazioni di deep learning non sarà quindi soltanto produrre risultati migliori, ma rendere più chiaro il modo in cui quei risultati vengono costruiti, trasformando la ricerca e sviluppo in uno strumento per realizzare sistemi più analizzabili e controllabili.

Ecco tre approfondimenti che potrebbero interessarti:

Dall’EPFL un nuovo modello multimodale per un’AI più flessibile
Il cervello separa logica e linguaggio: la prova arriva dal MIT
È Apertus la “open AI” svizzera per un futuro più trasparente