Double Espresso: Addestramento e inferenza

Addestramento e inferenza: qual è la differenza?

Capita spesso di leggere due frasi che sembrano parlare della stessa cosa. La prima: un'azienda ha addestrato un nuovo modello. La seconda: il costo dell'inferenza continua a scendere. Sembrano due modi diversi di descrivere la stessa macchina, e invece raccontano due momenti molto lontani della sua vita.

Mettiamo subito i due termini sul tavolo.

L'addestramento è il momento in cui il modello viene costruito o modificato. Un modello, alla fine, è una funzione con una quantità enorme di numeri interni, che si chiamano parametri, o pesi. Durante l'addestramento un programma gli mostra esempi, misura quanto sbaglia rispetto a un obiettivo e sposta quei numeri, un passo alla volta, per moltissime volte. In inglese si dice training, ed è la parola che trovate praticamente in ogni annuncio del settore.

L'inferenza è il momento in cui il modello, già addestrato, viene usato. Arriva un dato nuovo, il modello lo elabora con i parametri che ha in quel momento e produce un risultato: una previsione, un'etichetta, una risposta. In inglese si dice inference. È quello che succede ogni volta che premete invio.

Detto in modo brutale: l'addestramento cambia il modello, l'inferenza lo mette al lavoro.

Prendiamo un esempio piccolo e concreto, un filtro per la posta indesiderata, quella che tutti chiamiamo spam.

Nella fase di addestramento il modello vede una montagna di messaggi già giudicati da qualcuno: questo è spam, questo no. Per ognuno prova a indovinare, sbaglia, e i suoi parametri vengono corretti un pochino nella direzione che riduce l'errore. Ripetete l'operazione su decine di migliaia di messaggi e alla fine avete un modello che riconosce, in media, le caratteristiche tipiche della posta indesiderata.

Poi il filtro entra in servizio. Arriva un messaggio nuovo, mai visto prima. Il modello lo legge e restituisce un punteggio: quanto somiglia allo spam. Questa è inferenza, e dura una frazione di secondo.

Notate una cosa importante. La decisione di spostare davvero quel messaggio in una cartella separata non è necessariamente del modello. Molto spesso è il prodotto costruito attorno al modello a fissare una soglia e a scegliere cosa farne. Il modello dà un numero; il resto è logica applicativa.

E se voi segnalate che quel messaggio non era spam? Nel caso tipico la vostra correzione viene registrata. Potrà finire in un addestramento futuro, magari fra qualche settimana, insieme a migliaia di altre segnalazioni. Ma in quell'istante il modello non ha imparato niente: i suoi parametri sono esattamente quelli di prima.

Qui sta il malinteso più diffuso, quello che vale la pena smontare con calma: l'idea che il modello impari mentre parla con voi.

Quando scrivete un prompt lungo e dettagliato, la risposta cambia parecchio. Se l'applicazione conserva la conversazione precedente, il modello sembra ricordarsi di voi. Se il sistema va a cercare un documento e glielo mette davanti, il modello sembra improvvisamente informato su qualcosa che prima ignorava. Tutto vero, tutto utile, e tutto quanto succede all'ingresso del modello, non dentro di lui. Prompt, contesto, cronologia salvata, documenti recuperati e strumenti esterni sono meccanismi che cambiano ciò che il modello legge in quel preciso momento. I parametri restano fermi. Sono due leve diverse, e confonderle porta a conclusioni sbagliate: un prompt più lungo è più lavoro di inferenza, non un addestramento in miniatura.

Aggiungo una precisazione onesta, perché non voglio trasformare una regola pratica in una legge dell'universo. Esistono sistemi progettati per aggiornarsi in continuo, mentre lavorano. È una scelta di ingegneria possibile e in certi ambiti si usa. Ma nella configurazione più comune i due momenti restano separati: si addestra prima, si usa dopo.

Anche sui costi conviene ragionare bene. Addestrare un modello grande è un lavoro di calcolo concentrato e molto costoso. L'inferenza, però, avviene per ogni singola richiesta, di ogni singola persona, tutti i giorni. Sommata nel tempo, la spesa per servire un modello molto usato può diventare altrettanto importante. Quindi non fidatevi delle frasi che dicono che l'addestramento è sempre la voce più pesante: dipende da quanto tempo state guardando e da quante persone usano il prodotto.

Una nota di vocabolario, perché la parola inferenza è ambigua. In statistica ha un significato più ampio e più antico, che riguarda il trarre conclusioni sui dati. Nel linguaggio dei prodotti di machine learning, invece, significa quasi sempre una cosa sola: applicare un modello già addestrato. Oggi parliamo di questo secondo senso.

Perché tutto questo conta, al di là della definizione? Perché una volta che tenete separati i due momenti, molte notizie diventano leggibili. Capite perché un modello, se il sistema non gli fornisce fonti aggiornate, può ignorare un fatto avvenuto dopo il suo addestramento anche se sembra sveglissimo. Capite perché migliorare un'applicazione spesso significa cambiare ciò che entra nel modello, non ricostruire il modello. E capite perché le aziende parlano di due budget completamente diversi.

Anche per i modelli che scrivono testo vale la stessa struttura: l'addestramento insegna gli schemi generali della lingua, l'inferenza è il calcolo che, richiesta dopo richiesta, produce la risposta un frammento alla volta.

Se dovete portarvi via una sola immagine, portatevi questa. L'addestramento è il momento in cui si scrive la ricetta. L'inferenza è ogni singola tazza preparata seguendo quella ricetta. La vostra conversazione di oggi non riscrive la ricetta: al massimo, un giorno, potrà finire tra gli appunti di chi la riscriverà.