Coffee & Cake: Pretraining, fine-tuning e post-training
Canonical episode: https://move37.app/cafe/it/episodes/coffee-cake-pretraining-finetuning-posttraining-it/
Published: 2026-08-17T07:47:08Z
Language: it

TRANSCRIPT

Benvenuti da Andy's Café, dove le macchine preparano e le persone assaggiano. Oggi serviamo Coffee and Cake.

Come un modello di base diventa un assistente

Posso spostare il mio volo di martedì? Un modello linguistico di base potrebbe continuare la frase come se appartenesse a una discussione online. Una versione successiva chiede il codice della prenotazione. Un'altra ancora chiarisce che, senza conoscere la tariffa, non può promettere alcuna modifica. Sembrano tre tipi diversi di apprendimento: pretraining, fine-tuning e post-training. In realtà, questi nomi non dividono il lavoro in tre caselle separate.

La distinzione importante è un'altra. Il pretraining e il post-training indicano soprattutto due posizioni nella vita del modello: la fase iniziale, molto ampia, e il lavoro che viene dopo. Il fine-tuning indica invece un metodo, cioè l'adattamento di un modello che esiste già. Per questo una stessa fase può essere contemporaneamente fine-tuning e parte del post-training. Un termine risponde alla domanda come; l'altro alla domanda quando.

Partiamo dalla base. Nel pre-addestramento, chiamato di solito pretraining, il modello elabora quantità enormi e varie di testo. In ogni posizione cerca di prevedere quale pezzo verrà dopo. Quando la previsione non coincide con il testo osservato, l'errore contribuisce a modificare molti parametri numerici, spesso chiamati pesi. Ripetuto su un'immensa raccolta, questo esercizio costruisce capacità linguistiche generali e associazioni molto ampie.

Il risultato è un modello di base. Può conoscere il linguaggio dei voli, delle date, dei rimborsi e del servizio clienti. Ma non è detto che sappia comportarsi come un assistente affidabile. Alla domanda sul volo di martedì potrebbe inventare una regola plausibile, completare il testo con un'altra domanda oppure imitare la forma di una pagina informativa. Avere capacità generali non significa ancora usarle nel modo richiesto da un prodotto.

A questo punto si parte da uno stato salvato del modello, spesso chiamato checkpoint, e lo si addestra su esempi più mirati. A una richiesta del cliente viene associata una buona risposta: chiedere i dati mancanti, spiegare che cosa si può verificare e non fingere che il volo sia già stato cambiato. Ripetendo molti esempi, il modello viene spinto a rendere più probabili risposte di quel tipo.

Questa è una messa a punto, il fine-tuning. Quando ogni richiesta è accompagnata dalla risposta desiderata, si parla di fine-tuning supervisionato. Si adatta un modello che ha già imparato molto, invece di ricominciare da zero. E poiché questa messa a punto avviene dopo il pretraining, è anche una fase del post-addestramento, o post-training. Le due etichette si sovrappongono senza contraddirsi.

Il post-training è un contenitore, non un singolo algoritmo. Il fine-tuning supervisionato può essere uno degli strumenti al suo interno, ma non è l'unico. Gli sviluppatori possono anche mostrare più risposte possibili e chiedere quale sia preferibile. Nel nostro esempio, può vincere la risposta che ammette di non conoscere una regola tariffaria, invece di inventarla con sicurezza. Una richiesta breve e utile può essere preferita a un rifiuto lungo e generico.

Questi confronti producono un segnale di apprendimento diverso dalla risposta già scritta. Un metodo costruisce dalle valutazioni un sistema capace di assegnare una ricompensa e poi usa l'apprendimento per rinforzo per migliorare il modello linguistico. Altri metodi lavorano più direttamente sulle risposte preferite e scartate, senza quella fase separata. In certi compiti si possono usare anche ricompense verificabili da un programma. Sono tutte possibili attività di post-training; nessuna ricetta è obbligatoria per tutti.

Che cosa cambia davvero? Non viene inserita in un cassetto una regola leggibile che dica di non inventare tariffe. Il segnale modifica numeri e quindi le probabilità delle uscite future. Una raccolta mirata, anche molto più piccola di quella usata per il pretraining, può orientare con forza il comportamento perché lavora su capacità già esistenti. Piccolo, in questo caso, non significa superficiale.

Nemmeno il fine-tuning deve sempre riscrivere tutti i pesi. Una messa a punto completa può modificare l'intero modello. Metodi più efficienti possono lasciare fermi i pesi originali e imparare soltanto un piccolo insieme di adattamenti aggiuntivi. Quando questi vengono caricati insieme alla base, il sistema risultante si comporta in modo diverso, anche se il checkpoint originale è rimasto intatto.

Ora immaginiamo che una compagnia aerea prenda un assistente già sottoposto a post-training e lo adatti alle proprie formulazioni e procedure. Anche questa operazione può chiamarsi fine-tuning. Il punto di partenza non è più il modello di base, ma un assistente già passato attraverso più fasi di addestramento. La parola descrive il rapporto fra un modello di partenza e il suo adattamento. Non racconta da sola tutta la storia precedente.

Esiste poi un caso di confine. Si può prendere un checkpoint esistente e continuare l'obiettivo originale di previsione su una grande raccolta di testi non annotati sull'aviazione. Pur partendo da un modello già formato, questo viene spesso chiamato pretraining continuato, non normale fine-tuning per un compito. Il confine dimostra perché conviene chiedere quali dati e quale obiettivo siano stati usati, invece di affidarsi soltanto al nome.

È ancora diverso fornire al modello la politica di rimborso aggiornata dentro la richiesta corrente. In quel caso cambia l'ingresso, non cambiano i pesi. Se il prodotto recupera la regola da un documento prima di rispondere, il modello non è stato messo a punto. Un esempio nel testo della richiesta, una ricerca esterna o una memoria del prodotto possono guidare una singola risposta senza produrre un cambiamento addestrato e duraturo.

Anche l'azione concreta resta separata dall'addestramento. Il post-training può rendere il modello più bravo a capire quando mancano dati o quando non deve promettere una modifica. Ma non sposta davvero il passeggero su un altro volo. Per farlo serve uno strumento collegato al sistema di prenotazione, con regole e autorizzazioni proprie. L'addestramento plasma ciò che il modello produce; il software esterno trasforma una richiesta consentita in un'azione.

Diventa quindi evidente il limite di una formula popolare: il pretraining insegna la conoscenza, il fine-tuning insegna un compito e il post-training aggiunge buone maniere. Il pretraining sviluppa anche abilità generali. Il fine-tuning può modellare un dominio, un formato o una preferenza ed essere parte del post-training. Il post-training può cambiare quali problemi il modello tenta, quali strategie usa e come segnala l'incertezza. Non è una semplice mano di vernice sulla cortesia.

Nessuna fase garantisce la verità. Il modello segue il segnale offerto dagli esempi, dai confronti o dalle ricompense, che resta una rappresentazione imperfetta di ciò che desideriamo. Le risposte di esempio possono contenere errori. Le valutazioni umane possono essere incoerenti o premiare una scorciatoia attraente. Un controllo automatico può essere soddisfatto senza che il problema più profondo sia stato risolto bene.

Ogni adattamento comporta inoltre compromessi. Migliorare un comportamento può indebolirne un altro. Il modello può aderire troppo ai propri esempi o amplificare un segnale sbagliato. Non basta quindi osservare che riproduce bene gli esempi usati per la messa a punto. Bisogna verificare il guadagno desiderato e cercare peggioramenti altrove.

Anche la terminologia varia fra laboratori. Pretraining continuato, ottimizzazione delle preferenze e fine-tuning non vengono delimitati sempre nello stesso modo. I termini restano utili, purché non li si scambi per una descrizione completa del processo.

Quando senti dire che un modello è stato messo a punto, prova allora a fare quattro domande. Da quale checkpoint è partito? Quale segnale ha ricevuto: testi generali, risposte curate, confronti o ricompense verificabili? Quali pesi o parametri aggiuntivi sono cambiati? E quale comportamento è stato valutato dopo, compresi eventuali peggioramenti in altre capacità?

La mappa, a quel punto, è semplice. Il pretraining costruisce la base ampia. Il fine-tuning adatta un modello già esistente. Il post-training raccoglie il lavoro successivo al pretraining e può includere il fine-tuning supervisionato insieme ad altri metodi. Le parole si sovrappongono perché descrivono dimensioni diverse. Separare il momento, il punto di partenza e il segnale di apprendimento aiuta a capire che cosa è davvero cambiato nel modello.

Per oggi è tutto. Il café è sempre aperto. A presto.

MORE INFORMATION
TEXT LICENSE
This transcript, description and original Andy's Café editorial text are licensed under Creative Commons Attribution 4.0 International (CC BY 4.0).
License: https://creativecommons.org/licenses/by/4.0/
Attribution: Andy's Café — https://move37.app/cafe/it/episodes/coffee-cake-pretraining-finetuning-posttraining-it/
Indicate changes when adapting. Identified third-party quotations and linked source material remain under their own terms.

AUDIO AND OTHER MATERIAL
The composed episode has separate component terms because its piano cues are third-party material. Artwork and the Andy's Café brand are not included in the CC BY licence.
Rights map: https://move37.app/cafe/welcome/#reuse
Contact: hello@move37.app