Coffee & Cake: Token, contesto e memoria

Cosa ricorda davvero la tua chat

Ti sarà capitato di lavorare per mezz'ora con un assistente e di trovarlo sorprendentemente attento. Sa che preferisci risposte brevi, che il documento è per un cliente, che stai scrivendo in italiano. Poi restituisce proprio la cosa che gli avevi chiesto di evitare. Sembra distratto, o meno intelligente. Quasi mai è così. Dietro quell'esperienza ci sono tre cose diverse che noi comprimiamo in una sola parola: memoria.

Conviene separarle subito, perché una volta separate quella smemoratezza diventa prevedibile, quasi banale. I token sono l'unità di misura: servono a contare i pezzi di testo. Il contesto è ciò che in questo momento sta sul banco, davanti al modello, mentre prepara una singola risposta. La memoria, invece, è materiale conservato altrove, in un archivio del prodotto, che qualcuno può decidere di andare a riprendere e di appoggiare sul banco più tardi. Tre piani distinti, e la maggior parte delle sorprese nasce dal confonderli.

Partiamo dai token. Prima di arrivare al modello, il testo viene tagliato in unità più piccole, e ogni unità diventa un identificatore numerico. Il taglio non segue la grammatica e non coincide con le parole. Una parola breve e frequente può restare intera; una parola lunga o insolita viene spezzata. Contano anche spazi e punteggiatura. Il taglio appartiene a un tokenizzatore specifico, quindi la stessa frase può avere un numero diverso di token in due modelli. Per questo la conversione fra token e pagine resta una stima: cambia con la lingua e il tipo di testo, e il codice si comporta diversamente da un racconto.

Il contesto è la seconda idea, e qui la metafora del banco funziona bene. Ogni singola richiesta al modello ha una capacità massima, la cosiddetta finestra di contesto: quanto ci sta, in token, su quel piano di lavoro. Il punto che sfugge più spesso è che su quel banco ci sta tutto insieme. Le istruzioni di sistema che il prodotto aggiunge senza mostrartele, i turni precedenti della conversazione, gli eventuali documenti recuperati, i risultati degli strumenti che l'assistente ha usato, la tua nuova domanda e anche la risposta che sta scrivendo. In diversi modelli, pure il ragionamento interno attinge alla stessa capacità. Non ci sono scomparti separati: è un unico spazio condiviso.

Ora la parte che spiega la smemoratezza. Una richiesta di generazione, nella sua forma di base, è senza stato: il modello non conserva la chat da un messaggio all'altro. La continuità viene costruita rimandando i messaggi precedenti, o facendo gestire al servizio uno stato equivalente. La chat viene riassemblata a ogni giro. Quando non ci sta più tutta, il prodotto deve tagliare, selezionare o riassumere le parti più vecchie. Ecco perché un'istruzione iniziale può svanire. Non è stata dimenticata da un cervello: non è stata rimessa sul banco.

La memoria del prodotto vive invece fuori dalla singola richiesta. Un assistente può conservare fatti, riassunti o scambi passati in un archivio separato e inserire ciò che sembra pertinente in una richiesta successiva. È il quaderno accanto alla macchina del caffè, non il banco. Che cosa salva e quanto puoi controllarlo cambia da un prodotto all'altro. Ma se gli hai detto una cosa una volta, il modello non l'ha imparata. Il prodotto può averla salvata e rimandata, mentre i parametri appresi durante l'addestramento restano di norma identici. Salvare un'informazione e insegnarla al modello sono operazioni diverse.

Da qui segue un altro chiarimento utile: una finestra di contesto molto ampia non è memoria a lungo termine. Sono due cose che non si sostituiscono. La prima è un limite per singola richiesta, e si azzera concettualmente ogni volta; la seconda è una funzione di archiviazione e selezione costruita attorno al modello. Un contesto capiente ti permette di lavorare su un documento lungo adesso. Non garantisce che fra tre settimane il sistema si ricordi come si chiama il tuo cliente.

Il recupero mirato di informazioni è la terza strada che porta materiale sul banco. Il termine inglese è retrieval. Il sistema cerca in una raccolta esterna, seleziona i passaggi rilevanti e li aggiunge alla domanda. Se chiedi la politica dei resi, può pescare due paragrafi dal manuale e il modello risponde lavorando su quel testo. Che cosa resta dopo? Niente nel modello. Ha usato i paragrafi, non li ha assorbiti. Alla domanda successiva, la ricerca va rifatta.

Segui allora una richiesta intera, dall'inizio alla fine. Tu scrivi una domanda. Il prodotto compone il pacchetto: le sue istruzioni, una parte della conversazione, magari già condensata in riassunto, forse una nota presa dal suo archivio, forse due passaggi appena recuperati, e infine la tua frase. Tutto questo viene tagliato in token. Il modello genera la risposta un token alla volta, e ogni token prodotto occupa a sua volta un pezzo dello stesso spazio. Quando il testo torna a te, è già stato ricomposto in parole leggibili. Il modello ha visto soltanto ciò che stava in quel pacchetto.

Tre prodotti possono quindi usare lo stesso modello e comportarsi in modo diverso. Uno rimanda l'intera conversazione finché ci sta, poi taglia i turni più antichi. Un altro conserva un riassunto e un quaderno di fatti su di te. Un terzo tiene la cronologia corta e allega i documenti trovati nel tuo archivio. Stesso motore, tre esperienze. Chiedere quale modello usa non basta a sapere che cosa ricorda.

Vale la pena aggiungere una cosa controintuitiva: più contesto non è automaticamente meglio. Riempire il banco fino all'orlo non aiuta, se in mezzo a tutto c'è anche il rumore. Materiale pertinente e ben organizzato rende più di un versamento indiscriminato: un testo molto lungo può diluire e nascondere proprio le due righe che contavano. In pratica, incollare la cartella intera funziona spesso peggio che incollare le due pagine giuste, dicendo che cosa te ne serve.

E c'è un ultimo malinteso che tocca i conti, non la memoria. Il termine inglese è prompt caching. Una parte iniziale identica non viene ricalcolata da zero in ogni richiesta. Questo riduce l'attesa e spesso il prezzo. Ma quei token continuano a occupare la finestra di contesto. La memorizzazione temporanea non regala spazio e non insegna niente al modello: cambia il lavoro, non la capienza del banco.

La prossima volta che un assistente sembra aver dimenticato qualcosa, chiediti tre cose. L'informazione era stata conservata, o viveva solo in un vecchio messaggio? È stata selezionata per questa richiesta? E c'era ancora posto sul banco? Spesso la risposta sta lì. Ne seguono due abitudini utili: ripeti le istruzioni importanti nella richiesta in corso e, quando una conversazione diventa lunga e confusa, ricomincia con un riassunto breve di ciò che conta.