Coffee & Cake : Pré-entraînement, ajustement et post-entraînement
Canonical episode: https://move37.app/cafe/fr/episodes/coffee-cake-pretraining-finetuning-posttraining-fr/
Published: 2026-08-18T00:14:37Z
Language: fr

TRANSCRIPT

Bienvenue chez Andy's Café, où les machines préparent le café et les humains le savourent. Aujourd’hui, nous servons Coffee and Cake. Bonne écoute.

Pré-entraînement, ajustement et post-entraînement : trois mots pour la vie d'un modèle

« Est-ce que je peux déplacer mon vol de mardi ? » Posez cette question à trois versions d'un même modèle de langage, et vous obtiendrez trois comportements très différents. La première version continue votre phrase comme s'il s'agissait d'un message pêché dans un forum de voyageurs : c'est plausible, mais ça ne vous aide pas vraiment. La deuxième répond comme un conseiller et demande la référence de réservation qui manque. La troisième fait la même chose, mais prend soin, en plus, de ne pas inventer une condition tarifaire qu'elle ne peut pas connaître.

La tentation est grande de ranger ces trois versions dans trois cases bien étiquetées : pré-entraînement, ajustement, post-entraînement. L'image est simple, facile à retenir, et trompeuse. Ces mots ne désignent pas trois techniques rivales posées sur un tapis roulant obligatoire. Deux d'entre eux décrivent des moments dans la vie d'un modèle. Le troisième décrit une manière d'adapter un modèle qui existe déjà.

Voici donc la carte à garder en tête. Le pré-entraînement, qu'on rencontre le plus souvent sous son nom anglais de pretraining, c'est la grande phase initiale, celle qui construit la base. L'ajustement, en anglais fine-tuning, c'est une méthode : on repart d'un état sauvegardé du modèle, ce qu'on appelle un checkpoint, un point de sauvegarde, et on l'adapte. Le post-entraînement, ou post-training, c'est tout le chantier qui vient après la phase initiale. Et comme l'ajustement supervisé se déroule très souvent pendant le post-entraînement, une même étape peut porter les deux étiquettes sans la moindre contradiction. L'une répond à la question comment. L'autre répond à la question quand.

Commençons par le commencement. Pendant le pré-entraînement, le modèle parcourt une collection de textes immense et variée. À chaque endroit du texte, il essaie de deviner ce qui vient ensuite. Quand sa prédiction s'écarte de ce qui est réellement écrit, l'erreur sert à corriger, petit à petit, une multitude de réglages numériques internes, qu'on appelle des paramètres, ou des poids. Répété sur des quantités vertigineuses de texte, cet exercice produit un modèle de base : des régularités de la langue, des associations d'idées, et des capacités étonnamment générales.

Notre modèle de base connaît sans doute le vocabulaire des aéroports, des dates, des remboursements et des conversations avec un service client. Mais rien, dans son objectif d'apprentissage, ne lui a appris à se comporter en assistant fiable. Devant la question sur le vol de mardi, il peut écrire une suite plausible, imiter un fil de discussion, ou compléter avec assurance une règle qu'on ne lui a jamais fournie. Savoir beaucoup de choses et se comporter utilement dans un produit, ce sont deux affaires différentes.

On repart alors de ce modèle de base sauvegardé, et on lui montre des exemples choisis avec soin. Un client demande à déplacer son vol ; la bonne réponse réclame la référence du dossier, explique ce qui peut être vérifié, et surtout n'affirme jamais qu'un changement a déjà été fait. Un autre exemple montre quoi faire quand la date manque. Quand chaque question est ainsi accompagnée de la réponse souhaitée, on parle d'ajustement supervisé : la réponse rédigée fournit la cible, ce que l'entraînement doit rendre plus probable. On ne repart pas de zéro ; on oriente des capacités qui existent déjà.

Cette étape est un ajustement, puisqu'un point de sauvegarde existant est adapté sur des exemples plus spécifiques. Et c'est aussi du post-entraînement, puisqu'elle arrive après la grande phase initiale. Les deux étiquettes répondent simplement à deux questions différentes. Quelle méthode ? Un ajustement supervisé. À quel moment de la vie du modèle ? Pendant le post-entraînement.

Car le post-entraînement est un parapluie, pas un algorithme. Après les exemples rédigés, les développeurs peuvent faire comparer plusieurs réponses possibles. On préférera peut-être celle qui reconnaît son incertitude à celle qui invente une règle sur les bagages avec un aplomb parfait. On préférera une question courte et utile à un long refus qui n'aide personne. Ces comparaisons deviennent un signal d'apprentissage qui déplace, là encore, les probabilités du modèle.

Et ce signal peut s'exploiter de plusieurs façons. Une famille de méthodes commence par apprendre, à partir de classements faits par des humains, un système auxiliaire capable d'attribuer une note, puis améliore le modèle de langage par apprentissage par renforcement. Une autre famille se passe de ce détour : elle optimise le modèle plus directement à partir des paires de réponses préférées et écartées. Certains systèmes utilisent aussi des récompenses qu'un programme peut vérifier tout seul, par exemple lorsqu'une réponse soumise à des contraintes satisfait un vérificateur automatique. Tout cela peut relever du post-entraînement. Aucune recette n'est universelle, et aucun modèle n'est obligé de passer par toutes ces étapes.

Ce qui change au fil de ce travail, ce n'est pas un petit règlement rangé dans un tiroir marqué manières aériennes. Le signal modifie des nombres, et donc les probabilités des réponses futures. Un jeu de données restreint mais bien choisi peut réorienter fortement le comportement, précisément parce qu'il s'appuie sur des capacités déjà bâties pendant le pré-entraînement. Peu de données ne veut pas dire effet superficiel.

Il n'est pas nécessaire non plus de réécrire tous les poids d'origine. Un ajustement complet peut toucher l'ensemble du modèle. Des méthodes plus économes laissent les poids de base gelés et n'apprennent qu'un petit jeu de corrections supplémentaires. Quand on charge ces corrections avec le modèle, l'ensemble se comporte autrement, alors même que le point de sauvegarde d'origine est resté intact. L'ajustement décrit une relation entre un point de départ et une adaptation, pas une quantité fixe de chirurgie.

Revenons à notre compagnie aérienne. Après ce post-entraînement général, une compagnie précise peut vouloir adapter l'assistant à son style, à ses procédures, à son vocabulaire maison. Cette retouche plus étroite s'appellera encore un ajustement, alors que le point de départ est cette fois un assistant déjà post-entraîné. Le mot dit seulement qu'un état existant a été adapté en un autre. Il ne raconte pas tout l'arbre généalogique du modèle.

Il existe d'ailleurs un cas limite instructif. On peut prendre un modèle existant et poursuivre l'objectif d'origine, deviner la suite du texte, sur une grande collection de documents aéronautiques sans réponses annotées. Cela part bien d'un point de sauvegarde, et pourtant les chercheurs parlent le plus souvent de pré-entraînement continué, et non d'un ajustement ordinaire pour une tâche. La frontière flotte, et c'est justement la leçon : plutôt que de surveiller les étiquettes, demandez quelles données ont servi, quel objectif a fourni le signal, et quels paramètres ont bougé.

Séparons maintenant l'entraînement de ce qui se passe à l'usage. Si la compagnie glisse la politique de remboursement du jour directement dans la requête, les poids du modèle n'ont pas changé. Si le système va chercher cette politique dans un document avant de répondre, le modèle n'a pas été ajusté pour autant. Ces deux mécanismes peuvent améliorer la réponse du moment, parce qu'ils enrichissent ce que le modèle a sous les yeux. Ils ne laissent aucune trace durable dans son état entraîné. Un exemple dans la requête, une recherche documentaire, une mémoire tenue par le produit : tout cela guide une réponse, mais un prompt n'est pas un ajustement.

La même frontière vaut pour l'action. L'entraînement peut rendre le modèle meilleur pour repérer qu'un client veut modifier une réservation, ou pour demander les bons détails. Il ne déplace pas le vol. Écrire « j'ai bien effectué le changement » ne change rien dans le système de réservation. Il faut pour cela un outil séparé qui communique avec ce système, des autorisations, et une logique de produit qui décide de ce que l'outil a le droit de faire. L'entraînement façonne ce que le modèle dit ; le logiciel autour transforme une demande autorisée en action réelle.

On voit alors ce qui cloche dans le slogan commode selon lequel le pré-entraînement apprendrait des connaissances, l'ajustement apprendrait une tâche, et le post-entraînement ajouterait de bonnes manières. Le pré-entraînement construit aussi des savoir-faire généraux. L'ajustement peut façonner une tâche, un domaine, un format ou une préférence, et il peut lui-même faire partie du post-entraînement. Le post-entraînement peut changer si le modèle tente un problème, quelle stratégie il choisit, et comment il traite l'incertitude. C'est bien plus qu'un vernis de courtoisie.

Et aucune de ces étapes ne garantit la vérité. L'objectif d'entraînement est toujours une approximation de ce que les gens veulent vraiment. Les réponses rédigées peuvent contenir des erreurs. Les préférences humaines peuvent être incohérentes, ou récompenser un raccourci séduisant. Dans une expérience de résumé de texte restée célèbre, les évaluateurs favorisaient sans le vouloir les passages recopiés du document, et le modèle a docilement appris à recopier. Un vérificateur automatique, de son côté, peut être satisfait sans que le vrai problème soit bien résolu.

L'adaptation a aussi ses contreparties. Améliorer un comportement peut en affaiblir un autre, coller de trop près aux exemples d'entraînement, ou amplifier un mauvais signal. Il ne suffit donc pas de constater que le modèle réussit sur ses propres exemples d'ajustement. Il faut mesurer le gain visé, et chercher les régressions ailleurs.

Ajoutons que la terminologie varie d'un laboratoire à l'autre, surtout autour du pré-entraînement continué et des multiples formes d'apprentissage par préférence. Ce n'est pas une raison pour jeter ces mots. C'est une raison pour réclamer le mécanisme qui se cache dessous, au lieu de prendre l'étiquette pour une fiche technique complète.

Alors, la prochaine fois qu'on vous dira qu'un modèle a été ajusté, posez quatre questions. De quel point de sauvegarde le travail est-il parti ? Qu'est-ce qui a fourni le signal d'apprentissage : du texte en masse, des réponses rédigées, des comparaisons, ou des récompenses vérifiables ? Quels poids, ou quels paramètres ajoutés, ont changé ? Et quel comportement a été évalué ensuite, y compris ce qui a pu se dégrader au passage ?

Ces questions remettent la carte à l'endroit. Le pré-entraînement bâtit la base large. L'ajustement adapte une base qui existe déjà. Le post-entraînement nomme le grand atelier qui suit, où l'ajustement supervisé n'est souvent qu'un outil parmi d'autres. Ces termes se chevauchent parce qu'ils ne mesurent pas la même chose : un moment, une méthode, un chantier. Une fois qu'on tient cette carte, le cycle de vie cesse de ressembler à trois cases alignées, et devient ce qu'il est vraiment : une suite de choix sur le point de départ, sur le signal qui transforme le modèle, et sur le comportement qu'on espère voir émerger.

C’est tout pour aujourd’hui. Le café est toujours ouvert. À bientôt.

MORE INFORMATION
TEXT LICENSE
This transcript, description and original Andy's Café editorial text are licensed under Creative Commons Attribution 4.0 International (CC BY 4.0).
License: https://creativecommons.org/licenses/by/4.0/
Attribution: Andy's Café — https://move37.app/cafe/fr/episodes/coffee-cake-pretraining-finetuning-posttraining-fr/
Indicate changes when adapting. Identified third-party quotations and linked source material remain under their own terms.

AUDIO AND OTHER MATERIAL
The composed episode has separate component terms because its piano cues are third-party material. Artwork and the Andy's Café brand are not included in the CC BY licence.
Rights map: https://move37.app/cafe/welcome/#reuse
Contact: hello@move37.app