Double Espresso: Che cos'è un token?
Canonical episode: https://move37.app/cafe/it/episodes/double-espresso-token-it/
Published: 2026-08-10T21:39:06Z
Language: it

TRANSCRIPT

Benvenuti all'Andy's Café, dove le macchine preparano e le persone assaporano. Oggi serviamo un Double Espresso. Buon ascolto.

Che cos'è un token?

Prima o poi capita a tutti. Leggi la scheda di un assistente di intelligenza artificiale e trovi scritto che ha una finestra di contesto da duecentomila token, che costa una certa cifra al milione di token, che la risposta esce a un certo numero di token al secondo. Sembra un dettaglio da addetti ai lavori, roba per chi programma. In realtà è l'unità di misura con cui si contano tre cose che riguardano da vicino chi usa questi strumenti: quanto testo puoi dare al modello, quanto in fretta risponde e quanto ti costa.

Mettiamo subito la definizione sul tavolo. Un token, quando parliamo di testo, è una delle unità in cui una frase viene spezzata prima di arrivare al modello. Non è una lettera, non è una sillaba e non è per forza una parola: è un pezzo di testo scelto dal vocabolario e dalle regole di un programma chiamato tokenizer, in italiano tokenizzatore. Questo programma trasforma il testo in una sequenza di pezzi e associa a ciascuno un numero, il suo identificativo dentro un vocabolario fissato in anticipo.

Viene naturale chiedersi perché non si usino semplicemente le parole. Il motivo è che una lingua viva non sta dentro un elenco chiuso. Ci sono nomi propri, refusi, sigle, indirizzi di posta elettronica, cifre, righe di codice e parole di altre lingue. Un vocabolario di sole parole intere sarebbe enorme e avrebbe comunque problemi con ciò che non contiene. Un vocabolario di sole lettere produrrebbe invece sequenze molto più lunghe. I metodi più diffusi stanno nel mezzo: usano pezzi ricorrenti sotto o intorno al livello della parola. Le espressioni comuni restano compatte, quelle rare vengono ricomposte con frammenti più piccoli.

Facciamo un esempio nostro. Prendi un'ordinazione al bancone: un cappuccino e un cornetto, per favore. Parole cortissime e frequentissime come un, e, per hanno buone probabilità di valere un pezzo ciascuna, magari insieme allo spazio che le precede. Anche cappuccino, in un tokenizzatore che ha visto parecchio italiano, potrebbe restare intero. Prendi adesso una parola lunga e meno frequente, per esempio spensieratezza: quella può essere ricomposta da due, tre o quattro frammenti. Questa è soltanto un'illustrazione. Ogni famiglia di modelli ha il proprio vocabolario, e l'unico modo per sapere davvero come viene spezzata una frase è darla proprio a quel tokenizzatore.

Adesso seguiamo una frase per tutto il percorso. Tu scrivi: il caffè migliore della città è. Il tokenizzatore taglia questa riga in pezzi e li sostituisce con i numeri corrispondenti. Da qui in poi il modello lavora su una sequenza di identificativi, che dentro la macchina diventano rappresentazioni numeriche. Il modello produce poi un punteggio per ogni possibile token successivo del suo vocabolario, una classifica di continuazioni plausibili. Il metodo di decodifica ne sceglie uno, a volte quello in cima, a volte con un po' di casualità controllata. Il pezzo scelto viene aggiunto alla sequenza, e il giro ricomincia con la frase un poco più lunga. Un token alla volta. Man mano, il tokenizzatore converte la sequenza crescente in testo leggibile, ed è quel testo che compare sullo schermo.

Chiarito il meccanismo, togliamoci di mezzo quattro equivoci. Un token non è una parola, una sillaba o un carattere. Le regole pratiche che lo convertono in una frazione di parola servono solo per una stima al volo: cambiano da lingua a lingua e si comportano ancora diversamente con numeri, codice e nomi insoliti.

Un limite di token non si traduce neppure in un numero esatto di pagine, valido per tutti. Puoi stimare un ordine di grandezza, non fare una conversione precisa. Inoltre, due modelli diversi contano lo stesso testo in modo diverso, perché usano vocabolari diversi. Confrontare due prezzi al milione di token senza considerare questo dettaglio può essere fuorviante.

Infine, la tokenizzazione è soltanto l'interfaccia con cui il testo entra nel modello e ne esce. Non è una prova di comprensione. Un testo diviso in pezzi ordinati non è per questo un testo capito bene.

Ed ecco perché la faccenda ti riguarda anche se non scriverai mai una riga di codice. Nella finestra di contesto ci sta tutto e tutto pesa: le istruzioni di sistema, la cronologia della conversazione, il documento che hai allegato, i risultati di una ricerca e anche la risposta che stai leggendo. Quando una chat molto lunga sembra perdere l'inizio, il prodotto può avere esaurito quello spazio e avere scartato o riassunto il materiale più vecchio. Nei servizi a consumo, i token in entrata e in uscita possono finire in bolletta, e una conversazione tenuta aperta a lungo può costare più di quanto suggerisca il numero di domande.

Se ti resta una cosa sola, che sia questa: il modello non legge parole come le leggiamo noi. Lavora su una sequenza di pezzi numerati e ne aggiunge uno alla volta. Il token è l'unità di misura del testo per la macchina, e quindi la misura del tuo spazio, del tempo di calcolo e, spesso, del conto.

Per oggi è tutto. Il café è sempre aperto. A presto.

MORE INFORMATION
TEXT LICENSE
This transcript, description and original Andy's Café editorial text are licensed under Creative Commons Attribution 4.0 International (CC BY 4.0).
License: https://creativecommons.org/licenses/by/4.0/
Attribution: Andy's Café — https://move37.app/cafe/it/episodes/double-espresso-token-it/
Indicate changes when adapting. Identified third-party quotations and linked source material remain under their own terms.

AUDIO AND OTHER MATERIAL
The composed episode has separate component terms because its piano cues are third-party material. Artwork and the Andy's Café brand are not included in the CC BY licence.
Rights map: https://move37.app/cafe/welcome/#reuse
Contact: hello@move37.app