Sunday Latte: Come impara un modello linguistico

La frase sospesa

Il fornaio mise il pane nel...

Quasi certamente avete completato la frase con «forno». Non avete consultato un dizionario, né ricostruito tutta la giornata del fornaio. È bastato riconoscere una sequenza familiare e immaginare la parola più plausibile.

Un modello linguistico fa qualcosa che, visto da lontano, può sembrare simile: riceve una sequenza incompleta e assegna una probabilità alle possibili continuazioni. Solo che lo fa su una scala difficile da immaginare. Durante l'addestramento incontra quantità immense di testo e ripete lo stesso esercizio innumerevoli volte. Eppure, da questo compito apparentemente modesto, può emergere un sistema capace di riassumere un saggio, spiegare un programma, seguire istruzioni e sostenere una conversazione.

Come si passa dal pane nel forno a un assistente digitale? È questa la domanda della nostra domenica.

Per rispondere, useremo la parola «imparare» in un senso preciso. Diremo che il modello impara quando i suoi parametri cambiano in modo duraturo e il cambiamento migliora il risultato rispetto all'obiettivo scelto per l'addestramento. I parametri sono i numerosissimi valori numerici interni, di solito chiamati pesi, che determinano come il modello elabora ciò che riceve.

Questa definizione è volutamente limitata. Non decide se il sistema comprenda come comprende una persona. Non ci dice se abbia intenzioni, esperienze o coscienza. Ci permette, però, di seguire un meccanismo concreto: una previsione, un errore, una correzione minuscola, poi un'altra previsione.

Parleremo soprattutto dei modelli autoregressivi che generano testo procedendo un elemento alla volta, come quelli alla base di molti sistemi di chat. Altri modelli linguistici imparano con esercizi diversi. Per ora restiamo davanti a quella frase sospesa e guardiamo che cosa succede prima che compaia la parola successiva.

Prima della parola successiva

Per un modello linguistico, una frase non entra necessariamente come una fila di parole intere. Prima viene suddivisa in token. Un token può coincidere con una parola breve, ma può anche essere un pezzo di parola, un segno di punteggiatura o uno spazio combinato con altri caratteri. Il termine inglese token è ormai comune anche in italiano; qui basta pensarlo come una delle piccole unità che il modello legge e produce.

Supponiamo che la sequenza sia: «Il fornaio mise il pane nel». Il modello elabora tutti i token già presenti e distribuisce una probabilità tra moltissimi possibili token successivi. «Forno» riceverà probabilmente una quota alta. «Sacchetto» potrebbe restare possibile. «Violino» sarebbe assai meno plausibile. Il modello non deve scegliere subito: durante l'addestramento conta l'intera distribuzione delle probabilità.

Poi arriva il testo originale, che contiene il token effettivamente osservato. Quello è il bersaglio dell'esercizio. Se il testo continua con «forno» e il modello gli aveva assegnato una probabilità elevata, la previsione era buona. Se puntava soprattutto su continuazioni incompatibili, la previsione era peggiore.

Una funzione matematica riassume la distanza tra ciò che il modello aveva previsto e ciò che compariva davvero. Si chiama funzione di perdita. Il nome può suonare drammatico, ma indica semplicemente un punteggio da ridurre. Una perdita più bassa significa che, secondo quel criterio, il modello ha attribuito più probabilità ai token osservati.

Lo stesso testo offre molti esercizi, non uno soltanto. Dopo «Il» si può prevedere «fornaio»; dopo «Il fornaio» si può prevedere «mise»; qualche posizione più avanti si può prevedere «pane». E il procedimento si ripete su frasi, dialoghi, pagine tecniche, racconti e codice.

Fin qui il modello ha soltanto commesso un errore misurabile. Per parlare davvero di apprendimento, quell'errore deve raggiungere i pesi e modificarli.

Dall'errore ai pesi

Immaginiamo una consolle con un numero enorme di manopole. Ognuna influenza il risultato, ma quasi mai in modo isolato. Girarne una può alterare leggermente molte previsioni; la stessa previsione dipende da una vasta combinazione di manopole. I pesi di una rete neurale funzionano più o meno così, anche se il loro numero e le loro relazioni rendono l'immagine molto più complessa.

Dopo aver calcolato la perdita, serve capire in quale direzione muovere ciascun peso per ridurla. Entra qui la retropropagazione dell'errore, spesso chiamata in inglese backpropagation. Il calcolo percorre a ritroso le operazioni che hanno prodotto la previsione e determina quanto una piccola variazione di ogni peso influirebbe sul risultato. Queste indicazioni sono i gradienti.

Un ottimizzatore usa i gradienti per correggere molti pesi di una quantità molto piccola. Il singolo passaggio non trasforma il modello. È più simile a spostare appena una folla di manopole che a riscrivere una regola su una lavagna. Il potere del metodo viene dalla ripetizione: nuove sequenze, nuove previsioni, nuove perdite, nuovi aggiornamenti.

Questo chiarisce un equivoco importante. Il modello non riceve la frase «il pane va nel forno» insieme all'ordine di archiviarla in uno scaffale preciso. Non c'è un cassetto dedicato al pane, né un indirizzo che contenga quella singola informazione. L'effetto di un esempio si distribuisce tra moltissimi pesi e si combina con quello di altri esempi. Alcuni aggiornamenti si rafforzano a vicenda; altri si compensano; altri ancora migliorano un caso e ne peggiorano un altro.

In pratica l'addestramento non corregge i pesi dopo ogni parola isolata nel modo ordinato del nostro racconto. I dati vengono raggruppati in lotti, i calcoli vengono eseguiti in parallelo e l'ottimizzazione segue numerose scelte tecniche. Ma il cuore resta lo stesso: il modello fa previsioni, una perdita ne misura l'errore, la retropropagazione calcola i gradienti e l'ottimizzatore aggiorna i pesi.

Ora possiamo allargare lo sguardo. Che cosa accade quando questo ciclo attraversa grandi raccolte di testo e viene ripetuto su scala industriale?

Imparare a prevedere non significa verificare la verità

La prima grande fase si chiama preaddestramento, o pretraining. Il modello incontra sequenze provenienti da fonti diverse e cerca, posizione dopo posizione, di prevedere il token osservato. Così può acquisire regolarità grammaticali, associazioni tra concetti, forme di ragionamento ricorrenti e una certa capacità di adattarsi a testi mai visti prima.

Ma l'obiettivo rimane la previsione. Non è un esame automatico di verità.

Se nel materiale di addestramento compare una descrizione accurata del sistema solare, prevederne bene le parole riduce la perdita. Se compare il dialogo di un romanzo in cui un personaggio mente, prevedere bene quella menzogna riduce la stessa perdita. Lo stesso vale per una battuta, una superstizione o un pregiudizio ripetuto. Il meccanismo non appone da solo un'etichetta con scritto «vero» o «falso» a ogni affermazione completa.

Questo non significa che il modello non possa apprendere nulla di utile sul mondo. Per prevedere bene testi diversi conviene cogliere molte strutture reali: quali oggetti hanno certe proprietà, quali eventi tendono a seguirne altri, come si sostiene una conclusione con alcune premesse. Una rappresentazione interna utile può nascere proprio perché aiuta a prevedere. Tuttavia, accuratezza predittiva e verità non coincidono. È una distinzione essenziale quando il modello risponde con grande sicurezza.

C'è poi una seconda cautela. Il nostro racconto procede da una parola alla successiva, ma il modello non vede soltanto l'ultima parola. Usa la sequenza precedente disponibile, talvolta molto lunga, per stabilire che cosa sia plausibile. La continuazione di «il pane nel» cambia se prima stavamo leggendo una ricetta, un verbale di polizia o una poesia surreale.

Ripetendo il ciclo su contesti molto vari, il modello non impara soltanto espressioni fisse. Può sviluppare schemi che si trasferiscono a casi nuovi. È questo passaggio dagli esempi incontrati a situazioni differenti che rende l'apprendimento interessante. Ma anche una generalizzazione impressionante può fallire, soprattutto quando la richiesta si allontana dai dati o dai percorsi esercitati durante l'addestramento.

Capacità, dati e calcolo

Per molto tempo, i progressi dei modelli linguistici hanno mostrato una regolarità sorprendente. Aumentando insieme la capacità del modello, la quantità di dati e il calcolo impiegato, alcuni errori di previsione diminuivano in modo abbastanza ordinato. Da qui nasce il discorso sulle leggi di scala.

La parola «leggi» può trarre in inganno. Non sono leggi della natura che promettono miglioramenti senza fine. Sono relazioni empiriche osservate entro determinati intervalli, con certe architetture, certi dati e certi metodi. Servono a orientare esperimenti e investimenti, non a garantire il futuro.

Anche i tre ingredienti vanno considerati insieme. Un modello più grande dispone di maggiore capacità, ma più parametri, da soli, non assicurano un risultato migliore. Se quel modello riceve troppo pochi dati, o viene addestrato con troppo poco calcolo, una parte della capacità resta sfruttata male. Studi successivi sull'uso ottimale del calcolo hanno mostrato proprio questo: in molte condizioni conviene bilanciare con maggiore attenzione dimensione del modello e quantità di dati, invece di ingrandire soltanto il primo.

E non conta solo quanto testo si raccoglie. Conta quale testo.

Un archivio enorme può contenere copie della stessa pagina, versioni quasi identiche, materiale scadente o dati che finiranno per ricomparire anche nelle prove di valutazione. La ripetizione eccessiva può favorire la memorizzazione letterale. La contaminazione dei test può far sembrare nuova una capacità che il modello ha già incontrato in forma molto simile. E una massa di contenuti contraddittori o distorti lascia inevitabilmente tracce nel comportamento.

Esperimenti controllati sulla deduplicazione hanno mostrato che rimuovere copie e quasi-copie può ridurre la riproduzione letterale e, allo stesso tempo, mantenere o migliorare l'accuratezza con meno passaggi di addestramento. Non è una ricetta universale per ottenere dati perfetti. È una dimostrazione concreta del fatto che la composizione del corpus cambia ciò che viene appreso.

La scala, quindi, non è una sola manopola. È un equilibrio tra capacità, dati, calcolo e qualità. E il prodotto di questo grande preaddestramento non è ancora, di norma, l'assistente educato e collaborativo con cui conversiamo.

Dal modello base all'assistente

Al termine del preaddestramento abbiamo un modello base: un sistema molto capace di continuare testi. Se gli diamo l'inizio di una domanda, potrebbe rispondere; ma potrebbe anche proseguire inventando altre domande, imitare una pagina web o adottare un formato poco utile. Continuare un testo e seguire l'intenzione di una persona non sono esattamente lo stesso compito.

Per questo esiste il post-addestramento, in inglese post-training. È un insieme di fasi che orientano il modello verso comportamenti desiderati: comprendere un'istruzione, produrre una risposta pertinente, ammettere un limite, rispettare certe preferenze di stile o evitare alcuni contenuti dannosi.

Un metodo consiste nel mostrare esempi preparati con cura. Alla richiesta segue una risposta considerata buona, e il modello viene ulteriormente addestrato su queste dimostrazioni. È il fine-tuning supervisionato, cioè una messa a punto guidata da esempi.

Un altro metodo parte da confronti. Si producono più risposte alla stessa richiesta; persone, oppure altri sistemi predisposti allo scopo, indicano quale sia preferibile. Questi giudizi possono servire per addestrare un modello che valuta le risposte e poi per ottimizzare il modello linguistico con apprendimento per rinforzo. È la famiglia di tecniche nota come apprendimento per rinforzo dal feedback umano. Esistono anche metodi che apprendono più direttamente dalle coppie «preferita» e «non preferita».

Non tutti i laboratori usano la stessa ricetta, e le ricette cambiano rapidamente. Inoltre il post-addestramento non è una semplice mano di vernice fatta di buone maniere. Può influire profondamente su come il modello usa le capacità acquisite, su quali strategie prova e su quanto bene segue problemi complessi.

Ma non trasforma automaticamente il sistema in un arbitro infallibile. Le dimostrazioni possono essere incomplete, le preferenze possono divergere e un comportamento efficace in una prova può non trasferirsi a ogni situazione. Anche un assistente ben rifinito può produrre affermazioni false.

Preaddestramento e post-addestramento hanno però qualcosa in comune: entrambi possono modificare in modo duraturo i pesi. Per capire che cosa avviene durante una normale conversazione, dobbiamo separare questo cambiamento stabile da un fenomeno molto più temporaneo.

Quello che accade in conversazione

Immaginate di dire a un assistente: «Per questa conversazione, quando scrivo blu, intendo urgente». Subito dopo gli chiedete di elencare i messaggi blu. Se segue la vostra convenzione, ha usato un'informazione nuova. Ma, nella situazione normale, i suoi pesi non sono cambiati.

La frase sulla parola «blu» è entrata nel contesto: il testo disponibile mentre viene generata la risposta. Il modello può adattare il comportamento a un'istruzione, a un esempio o a una definizione presente in quel contesto. Questa capacità viene spesso chiamata apprendimento nel contesto, dall'inglese in-context learning. Il nome è utile, purché non ci faccia confondere due cose diverse.

Durante l'addestramento cambiano i pesi. Durante una conversazione ordinaria, invece, il modello calcola la risposta usando pesi già addestrati e informazioni momentaneamente disponibili. Quando quel contesto non viene più fornito, la convenzione su «blu» può scomparire. Il sistema che gestisce la chat potrebbe conservare messaggi o memorie e reinserirli in seguito, ma sarebbe una funzione esterna al singolo processo di generazione, non la prova che il modello base abbia riscritto i propri pesi.

Gli esempi nel contesto possono essere molto efficaci. Se mostriamo due domande con il formato di risposta desiderato, il modello può applicare lo schema a una terza. Sembra che abbia imparato al volo, e in un senso operativo è vero: il suo comportamento si è adattato. Ma la fonte di quell'adattamento immediato è l'informazione presente nella sequenza, combinata con capacità già codificate nei pesi.

Questa distinzione risolve anche una preoccupazione comune. Correggere una risposta dicendo «no, la data giusta è questa» può migliorare il resto della conversazione. Non significa, di norma, che quella correzione sia diventata conoscenza permanente per tutte le conversazioni future. Per ottenere un cambiamento stabile servirebbe un meccanismo che conservi l'informazione, aggiorni il modello o la renda nuovamente disponibile.

Finora abbiamo due fonti: ciò che è stato incorporato nei pesi durante l'addestramento e ciò che è presente nel contesto attuale. Molti sistemi moderni ne aggiungono una terza: la ricerca esterna.

Quando il modello cerca fuori di sé

Supponiamo di chiedere il contenuto di un documento pubblicato questa mattina. I pesi di un modello addestrato mesi prima non possono contenere quell'evento. Il sistema può però cercare in un archivio o sul web, selezionare alcuni passaggi e inserirli nel contesto insieme alla domanda. Il modello genera allora la risposta usando sia le proprie capacità sia il materiale recuperato.

Questa impostazione viene chiamata generazione aumentata dal recupero di informazioni. In inglese si incontra spesso il termine retrieval. L'idea fondamentale è semplice: la fonte esterna viene portata davanti al modello nel momento in cui serve. Anche qui, normalmente, i pesi non cambiano.

Il recupero può rendere una risposta più aggiornata e più verificabile, soprattutto se il sistema mostra da dove provengono i passaggi. Ma non elimina automaticamente gli errori. La ricerca potrebbe scegliere un documento irrilevante, ignorare una fonte migliore o trovare materiale falso. Il modello potrebbe interpretare male un passaggio corretto. Le citazioni potrebbero sostenere solo una parte della frase prodotta. Avere accesso a una biblioteca non equivale a leggere sempre il libro giusto.

Ora possiamo distinguere tre sorgenti che, dall'esterno, sembrano facilmente la stessa cosa. Prima: i pesi, modificati nel preaddestramento e nel post-addestramento, che racchiudono regolarità statistiche e capacità generali. Seconda: il contesto della conversazione, che contiene la domanda, le istruzioni e gli esempi correnti. Terza: le informazioni recuperate da strumenti esterni e aggiunte a quel contesto.

La distinzione è utile anche quando una risposta ci sorprende. Il modello conosceva già quel fatto in una forma recuperabile dai pesi? Lo ha dedotto da un dettaglio scritto poche righe prima? Oppure il sistema ha consultato un documento? Senza conoscere l'architettura completa del servizio, a volte non possiamo esserne certi. Possiamo però evitare l'errore di chiamare «apprendimento permanente» qualsiasi adattamento visibile.

Resta un'ultima domanda. Se i pesi conservano tracce di ciò che il modello ha visto, possiamo considerarli una grande banca dati compressa? L'immagine contiene un pezzo di verità, ma diventa fuorviante proprio dove avremmo più bisogno di precisione.

Una mappa, non un archivio

Nei pesi possono essere codificate associazioni fattuali. Una domanda semplice può far emergere il nome di una capitale, una formula o un episodio storico. Ma la generazione ordinaria non funziona come la consultazione affidabile di una scheda. Non offre, di per sé, un registro completo, una provenienza certa o la garanzia che il contenuto recuperato sia esatto.

È più prudente pensare ai pesi come a una struttura distribuita che rende certe continuazioni e certe operazioni più probabili. Questa struttura può generalizzare: combinare schemi appresi e applicarli a una richiesta nuova. Può anche confondere associazioni vicine, completare un vuoto con qualcosa di plausibile o riprodurre una distorsione presente nei dati.

Dire questo non autorizza però l'affermazione opposta, secondo cui un modello non copierebbe mai nulla. Testi distintivi o ripetuti possono essere memorizzati e, in alcune condizioni, riprodotti quasi o del tutto alla lettera. La memorizzazione è un'eccezione importante da misurare e limitare, non la descrizione completa di ciò che fanno tutti i pesi. Un modello può sia generalizzare sia ricordare frammenti specifici; le due cose non si escludono.

Siamo arrivati così a una definizione sobria dell'apprendimento. Durante il preaddestramento, milioni e poi miliardi di piccoli errori di previsione orientano aggiornamenti distribuiti nei pesi. Il post-addestramento modifica ancora quei pesi per rendere alcune risposte e strategie più adatte all'uso come assistente. In una conversazione, il contesto può cambiare il comportamento senza cambiare i pesi. Un sistema di recupero può aggiungere informazioni nuove senza insegnarle stabilmente al modello.

Sono cambiamenti reali e misurabili. Non sono, da soli, una sentenza sull'intelligenza o sulla comprensione. Ridurre tutto a «è soltanto completamento automatico» nasconde quanto possano diventare ricche le rappresentazioni apprese. Concludere che una previsione efficace dimostri un'esperienza simile alla nostra va oltre ciò che il meccanismo stabilisce. La questione del significato richiede argomenti ulteriori.

E il nostro racconto riguarda soprattutto modelli causali e autoregressivi. Altri, come i modelli a mascheramento della famiglia Bert, vengono addestrati a ricostruire parti nascoste del testo e seguono un obiettivo diverso.

Torniamo infine al fornaio. Quando «forno» completa la frase, la parola può dipendere da schemi impressi nei pesi, dalle righe che abbiamo appena letto o da informazioni recuperate altrove. La domanda più utile non è soltanto: «Il modello lo sa?». È: «Da dove arriva, in questo momento, il suo comportamento? Dai pesi del preaddestramento, dal post-addestramento, oppure da ciò che gli abbiamo messo davanti adesso?»

Fare questa domanda non risolve ogni mistero. Ma ci permette di osservare un assistente linguistico con meno magia e con molta più precisione.