Double Espresso : Qu’est-ce qu’un token ?
Canonical episode: https://move37.app/cafe/fr/episodes/double-espresso-token-fr/
Published: 2026-08-18T00:00:43Z
Language: fr

TRANSCRIPT

Bienvenue chez Andy's Café, où les machines préparent le café et les humains le savourent. Aujourd’hui, nous servons un Double Espresso. Bonne écoute.

Qu'est-ce qu'un token ?

Ouvrez la fiche technique de n'importe quel assistant d'intelligence artificielle, et vous tomberez sur ce mot. Une fenêtre de contexte de deux cent mille tokens. Un tarif au million de tokens, avec l'entrée et la sortie comptées séparément. Une vitesse mesurée en tokens par seconde. Le terme vient de l'anglais, où il désigne à l'origine un jeton, et il est resté tel quel dans la plupart des documentations en français. On dirait du jargon d'ingénieur, mais l'idée est simple, et une fois qu'on la tient, toute une partie de l'arithmétique déroutante de ces outils devient claire.

Posons d'abord la définition. Un token, quand il s'agit de texte, est une unité que le modèle de langage traite d'un seul tenant. Ce n'est ni une lettre, ni une syllabe, ni forcément un mot : c'est un morceau de texte, plus petit qu'une phrase et très souvent plus petit qu'un mot. Avant que le modèle ne reçoive quoi que ce soit, un programme appelé tokenizer, autrement dit le découpeur, coupe votre texte en morceaux et remplace chacun par un numéro, son identifiant dans un vocabulaire fixé à l'avance. Le modèle ne lit donc jamais des lettres comme nous le faisons. Il travaille sur des suites de numéros.

On peut se demander pourquoi ne pas découper tout bêtement en mots. Le problème, c'est qu'une langue vivante n'entre pas dans une liste fermée. Il y a les noms propres, les fautes de frappe, les sigles, les adresses, le code informatique, les mots venus d'autres langues. Un vocabulaire composé uniquement de mots entiers serait gigantesque et buterait quand même sur ce qu'il ne contient pas. À l'inverse, découper lettre par lettre règle la question de la couverture, mais transforme chaque phrase en une séquence interminable. Les tokenizers se placent entre les deux : ils apprennent un stock de morceaux fréquents et utiles, de sorte que ce qui revient souvent est représenté de façon compacte, et que ce qui est rare peut toujours être reconstruit à partir de fragments plus petits.

Prenons un exemple bien de chez nous. Vous écrivez : un grand crème et deux croissants, s'il vous plaît. Vous y voyez des mots et une virgule. Un tokenizer, lui, gardera probablement entières ces petites unités très courantes, et il comptera peut-être la virgule, voire l'espace qui précède un mot, comme des morceaux à part entière.

Écrivez maintenant anticonstitutionnellement. Ce mot interminable, qu'on cite plus souvent qu'on ne l'emploie, sera vraisemblablement découpé en plusieurs fragments réutilisables plutôt que conservé d'un bloc. Je me garde bien de vous donner le découpage exact, car il n'en existe pas d'universel. Le vocabulaire et les règles de découpe appartiennent à un tokenizer précis, et la même phrase peut donner un nombre de tokens différent d'une famille de modèles à l'autre. La seule réponse honnête est toujours la même : cela dépend du tokenizer auquel vous parlez.

Suivons maintenant une phrase sur tout le trajet. Vous tapez : le meilleur café du quartier est. Le tokenizer découpe cette ligne et transmet au modèle la suite d'identifiants correspondante. À l'intérieur, chaque identifiant est converti en une représentation numérique, et c'est sur ces nombres que le modèle calcule. Il attribue ensuite un score à chaque token possible de son vocabulaire, une note qui dit à quel point ce morceau prolongerait bien le texte. Une étape de sélection en choisit un, parfois le mieux noté, parfois un choix un peu plus audacieux selon les réglages.

Ce token est ajouté au bout de la suite, et tout recommence avec un texte allongé d'un morceau. Un token à la fois, encore et encore. Ce qui s'affiche à l'écran, c'est le tokenizer qui reconvertit la suite grandissante en texte lisible. Vous voyez une phrase qui coule ; en dessous, elle a été assemblée pièce par pièce.

C'est ici que les tokens cessent d'être une curiosité et commencent à vous concerner. La fenêtre de contexte, c'est-à-dire la quantité de texte que le modèle peut prendre en compte d'un coup, se mesure en tokens, et tout s'y dispute la place : vos consignes, l'historique de la conversation, les documents que vous avez joints ou que le système est allé chercher, et la réponse en train de s'écrire. Quand une longue discussion semble oublier son début, c'est souvent que ce budget a été atteint et que le produit a dû écarter ou résumer les échanges les plus anciens.

La même unité sert fréquemment de base à la facture, et elle pèse sur le temps d'attente, puisqu'une réponse se fabrique morceau par morceau. Et il n'existe aucune conversion fixe entre mots et tokens : le rapport change d'une langue à l'autre, et il change encore pour le code, les longues suites de chiffres, les noms propres ou une mise en forme inhabituelle. Une estimation grossière suffit pour prévoir ; en faire une loi, c'est se tromper précisément au moment où cela compte.

Profitons-en pour corriger quelques idées reçues. Un token n'est ni un mot, ni une syllabe, ni un caractère : c'est le morceau, quel qu'il soit, que ce tokenizer-là a jugé utile de retenir. Une limite en tokens ne se convertit pas en un nombre de pages exact et valable pour tout le monde ; méfiez-vous de qui le fait avec aplomb. Deux modèles peuvent compter différemment le même passage, si bien qu'un décompte n'est pas transportable d'un fournisseur à l'autre. Enfin, la tokenisation n'est que l'interface entre le texte et le modèle : elle détermine ce qui rentre dans la fenêtre et ce qu'un passage coûte en calcul, pas si le modèle en a compris un traître mot. Découper proprement et comprendre sont deux questions distinctes.

S'il ne fallait retenir qu'une chose, ce serait celle-ci : le token est l'unité de texte de la machine, pas la vôtre. Chaque limite, chaque prix, chaque vitesse qu'on vous annonce se compte dans les unités du modèle, jamais dans vos mots.

C’est tout pour aujourd’hui. Le café est toujours ouvert. À bientôt.

MORE INFORMATION
TEXT LICENSE
This transcript, description and original Andy's Café editorial text are licensed under Creative Commons Attribution 4.0 International (CC BY 4.0).
License: https://creativecommons.org/licenses/by/4.0/
Attribution: Andy's Café — https://move37.app/cafe/fr/episodes/double-espresso-token-fr/
Indicate changes when adapting. Identified third-party quotations and linked source material remain under their own terms.

AUDIO AND OTHER MATERIAL
The composed episode has separate component terms because its piano cues are third-party material. Artwork and the Andy's Café brand are not included in the CC BY licence.
Rights map: https://move37.app/cafe/welcome/#reuse
Contact: hello@move37.app