Coffee & Cake : Jetons, contexte et mémoire

Jetons, contexte et mémoire : ce qu'une conversation retient vraiment

Vous discutez avec un assistant depuis près d'une heure, et franchement, ça se passe bien. Il a compris très vite que vous aimiez les réponses courtes. Il a cessé de vous proposer des listes à rallonge. Il suit le fil de votre projet sans qu'on le lui rappelle. Et puis, vers la fin, vous lui demandez de reprendre un passage exactement comme vous l'aviez exigé au tout début de la conversation. Et là, plus rien. Il ne voit pas du tout de quoi vous parlez.

Rien ne s'est cassé. Il ne s'est pas lassé, il n'est pas devenu distrait, il n'a pas perdu en intelligence entre deux messages. Il s'est produit quelque chose de très précis, et d'ici quelques minutes, vous saurez le nommer.

Sous presque chaque conversation avec un de ces systèmes, il y a trois étages, et l'essentiel de la confusion vient de ce qu'on les écrase tous les trois dans un seul mot : se souvenir. Les tokens, ce sont les unités, la façon dont tout se mesure. Le contexte, c'est ce qui se trouve sur le plan de travail en ce moment même, sous les yeux du modèle. Et la mémoire, c'est du matériel rangé complètement ailleurs, que le produit construit autour du modèle peut aller chercher, ou non, pour le poser sur le plan de travail.

Commençons par les tokens, parce que tout le reste se compte en tokens. Le mot anglais est resté ; en français, on pourrait dire des jetons. Avant qu'un modèle de langage ne traite le moindre texte, ce texte est découpé en morceaux. Ces morceaux ne sont pas tout à fait des mots. Un mot courant comme café tient généralement en un seul morceau. Un mot long ou rare, le fameux anticonstitutionnellement par exemple, sera découpé en plusieurs. Les espaces et la ponctuation prennent de la place aussi.

L'outil qui fait ce découpage s'appelle en anglais un tokenizer, et chaque système a le sien, ce qui devrait éveiller chez vous une saine méfiance devant toute affirmation du genre : tant de tokens, cela fait tant de pages. Le français avec ses accents, le code informatique, les langues qui n'utilisent pas notre alphabet : tout cela se découpe différemment. Un token, c'est une unité de mesure dont la règle graduée change selon le système et la matière. Très bien pour estimer. Pas une constante de l'univers.

Passons au plan de travail. Chaque fois que le modèle produit quelque chose pour vous, il travaille à partir d'un seul paquet de texte, et ce paquet a une taille maximale. Ce maximum, c'est ce qu'on appelle en anglais la context window, la fenêtre de contexte. Ce qui entre dedans, c'est bien plus que votre question. Il y a les consignes que le produit a rédigées avant même votre arrivée, pour décrire comment l'assistant doit se comporter. Il y a votre question. Il y a tout ce que le produit a décidé de joindre pour vous. Et surtout, la réponse en train de s'écrire puise dans cette même capacité, tout comme, chez certains systèmes, la réflexion interne du modèle. C'est un comptoir de taille finie. Pour poser le plateau du gâteau, il faut que quelque chose d'autre en descende.

Et voici la partie qui surprend le plus. À l'échelle d'une seule réponse, l'opération se fait sans état. Le modèle n'est pas là, entre vos messages, à garder la conversation en tête, à la ruminer, à penser à vous. On lui tend une commande, il exécute cette commande, et c'est là tout son monde. La continuité, elle, se fabrique à l'extérieur. Quelqu'un doit composer la commande.

Alors suivons une vraie demande, du début à la fin. Vous tapez : écris-moi un petit mot poli pour mon propriétaire au sujet du chauffage, court, et sur le même ton que celui qu'on avait préparé au printemps.

Premier ingrédient : l'historique. Le produit remonte vos échanges précédents et en remet une partie dans la commande. Selon le produit et la longueur de la discussion, ce sera tout l'historique, une sélection, ou un résumé qui tient lieu des parties anciennes. Voilà pourquoi l'assistant semble se rappeler que vous aimez les réponses courtes. Non pas qu'il ait appris quoi que ce soit : la phrase où vous le disiez a simplement été renvoyée avec le reste. Et c'est exactement pour cela que votre consigne d'il y a une heure peut s'évaporer. Quand on taille dans l'ancien pour faire de la place, votre consigne peut partir avec. Que cette taille soit un résumé propre, un abandon discret des messages les plus vieux, ou quelque chose de plus malin, c'est une décision du produit, pas du modèle.

Deuxième ingrédient : la mémoire, au sens produit. Certains produits tiennent un stock en dehors de toute conversation. Des faits enregistrés, des résumés, des discussions entières. Rien de tout cela ne vit dans le modèle. Voyez-le comme un carnet que le produit garde derrière le comptoir, avec vos préférences notées dedans. Quand vous ouvrez une conversation toute neuve et qu'il sait déjà que vous avez un chien, c'est que quelque chose a regardé dans le carnet, jugé la note pertinente, et l'a recopiée sur la commande du jour. Là-dessus, les produits diffèrent énormément. Certains montrent ce qui est noté et vous laissent l'effacer. D'autres choisissent en coulisse. D'autres n'ont pas de carnet du tout. Alors quand on se dispute pour savoir si un assistant se souvient de nous, on discute en général de conception de produit, pas d'intelligence.

Troisième ingrédient : la recherche documentaire, ce qu'on appelle en anglais le retrieval. Même geste, autre placard. Cette fois, le stock n'est pas fait de vos préférences mais de documents : votre bail, un manuel d'entreprise, une bibliothèque d'articles. Le système fouille cette collection, choisit les passages qui semblent répondre à votre question, et les ajoute à la commande. Le modèle lit alors ces passages comme il lirait n'importe quel texte que vous auriez collé vous-même. Le mois prochain, si personne ne relance la recherche, il ne saura rien du tout de votre bail. Le retrieval, c'est aller chercher quelque chose dans le garde-manger. Ce n'est pas apprendre la recette par cœur.

La commande pour votre mot au propriétaire contient donc maintenant : les consignes permanentes du produit, une ligne ou deux du carnet sur la façon dont vous aimez qu'on écrive pour vous, une tranche choisie d'historique qui contient peut-être encore, ou peut-être plus, le mot du printemps, éventuellement un paragraphe de votre bail sur les obligations de réparation, et votre phrase à vous. Le tout découpé en tokens. Le tout se partageant une seule capacité finie. Et la réponse s'écrit avec la place qui reste.

Si les bons éléments ont été choisis et que tout a tenu, vous obtenez un bon petit mot. Si le mot du printemps a perdu sa place dans la sélection, vous obtenez un mot parfaitement correct mais pas tout à fait dans la bonne voix, et rien ne vous préviendra, parce que vu de l'intérieur de cette commande, il ne manquait rien. Le modèle ne peut pas regretter ce qu'on ne lui a jamais tendu.

Imaginez maintenant trois produits bâtis sur exactement le même modèle. Le premier renvoie chaque fois la conversation entière, et finit tout simplement par manquer de place. Le deuxième résume les passages anciens : il porte beaucoup plus de passé, au prix de détails qui s'estompent. Le troisième tient un carnet de mémoire et fouille vos documents : une conversation neuve démarre en sachant déjà des choses sur vous, mais il ressort de temps en temps une note périmée. Une intelligence identique en dessous. Trois manières complètement différentes de se souvenir.

Ce qui permet de balayer quelques croyances tenaces. Si vous lui avez dit une chose une fois, le modèle ne l'a pas apprise. Le produit l'a peut-être notée et la renvoie peut-être à chaque fois, mais le modèle entraîné, lui, reste normalement inchangé par la mention de votre chien. Une grande fenêtre de contexte n'est pas une mémoire à long terme. L'une, c'est ce qui tient sur le comptoir aujourd'hui. L'autre, c'est la question de savoir si quelqu'un a pris la peine de noter. Et davantage de contexte n'est pas automatiquement mieux. Une page bien choisie vaut mieux qu'un dossier déversé en vrac, parce qu'un texte très long peut enterrer la seule phrase qui comptait vraiment.

Vous entendrez peut-être aussi parler de cache, ce qu'on appelle en anglais le prompt caching : quand le début d'une commande se répète à l'identique, le système peut le réutiliser au lieu de le recalculer. C'est une économie de travail, et souvent d'argent, et les réponses arrivent plus vite. Mais ces tokens occupent toujours leur place sur le comptoir. Le cache achète de la vitesse, pas de la place, et certainement pas de la mémoire.

Vous voilà donc équipé pour la prochaine fois qu'un assistant oublie quelque chose. Au lieu de conclure qu'il a baissé, posez trois questions, dans l'ordre. Cette information a-t-elle jamais été enregistrée quelque part, en dehors de la conversation ? Si non, elle n'a jamais vécu que dans la discussion, et les discussions se taillent. Si elle a été enregistrée, a-t-elle été jugée pertinente pour cette demande précise ? Et si elle a été retenue, a-t-elle survécu à côté de tout ce qui se disputait la même place finie ?

Ensuite, redites simplement la chose, et redites-la tout en haut de votre message. Et quand une conversation devient longue et embrouillée, repartez-en une neuve, avec un petit résumé de ce qui compte. Personne ne vous a oublié. Quelque part entre le carnet et le comptoir, un fait n'est pas monté sur la commande du jour. Une fois qu'on voit cela clairement, l'outil devient bien plus facile à vivre : on arrête d'espérer qu'il se souvienne, et on commence à s'assurer qu'il a sous la main ce dont il a besoin.