Sunday Latte : Comment un modèle de langage apprend

La phrase inachevée

La boulangère glisse le pain dans le...

Vous avez sans doute déjà complété la phrase. Le four s'impose presque de lui-même. Le placard resterait défendable, le congélateur étonnerait, l'aquarium laisserait tout le monde perplexe. Vous n'avez pourtant consulté aucun dictionnaire : vous connaissez les boulangeries, la chaleur, et la manière dont ce genre de phrase se termine d'habitude.

Un modèle de langage ne commence pas avec ce bagage. Avant l'entraînement, ses réglages internes ne sont que des nombres sans ordre utile ; ils ne dessinent encore aucune carte des mots qui tendent à en suivre d'autres. Pendant l'entraînement, on lui présente d'immenses quantités de texte avec une seule tâche, répétée sans relâche : à partir de ce qui précède, attribuer des probabilités à ce qui pourrait venir ensuite.

La suite réelle du texte fournit alors un signal d'erreur. Si le modèle jugeait le four très probable, l'erreur est modeste. S'il misait sur l'aquarium, elle est bien plus grande. Un algorithme d'entraînement se sert de ce signal pour ajuster les nombres internes, puis l'exercice recommence, à une autre position, dans un autre passage. Cela se répète à travers des collections de textes gigantesques, par lots, en une longue suite de petites retouches.

De cette routine modeste sortent pourtant des systèmes capables d'expliquer une décision de justice, d'écrire un programme, de comparer des articles scientifiques ou de tenir une conversation. L'écart entre l'exercice et le résultat est si grand que deux récits trompeurs deviennent tentants. Le premier affirme que le modèle ne fait que recopier des phrases déjà vues. Le second, qu'il a forcément appris comme apprend une personne.

Aucun des deux ne suffit. Aujourd'hui, nous allons suivre le chemin réel qui mène d'une prédiction isolée à un assistant entraîné. Nous verrons ce qui change à l'intérieur du modèle, ce qui n'y change pas, et pourquoi le mot apprendre n'est exact qu'à condition de l'employer avec précaution.

Ce que nous appellerons apprendre

Pour cette émission, donnons au mot apprendre un sens volontairement étroit : une modification durable des paramètres d'un modèle, qui améliore un objectif d'entraînement donné.

Les paramètres, souvent appelés poids, sont les valeurs numériques ajustables du réseau. Un modèle de langage moderne en compte énormément. Ensemble, ils déterminent quels motifs le modèle peut représenter et quelle suite il jugera plausible dans une situation donnée. L'entraînement modifie ces poids. Une conversation ordinaire, en principe, ne les touche pas.

Cette distinction compte parce que trois phénomènes très différents reçoivent couramment le nom d'apprentissage. Le préentraînement, d'abord, qui transforme les poids en exposant le modèle à de vastes collections de textes variés. Le post-entraînement, ensuite, qui les transforme encore pour que le modèle suive des consignes, réponde utilement et se comporte comme son concepteur le souhaite. Enfin, une simple requête peut amener le modèle à utiliser un fait nouveau ou à imiter un exemple, le temps d'une réponse. Ce troisième phénomène ressemble à un apprentissage éclair, mais les poids, eux, restent normalement inchangés.

Précisons aussi le périmètre. Nous parlons des modèles autorégressifs, ceux qui engendrent le texte élément par élément, chaque nouvel élément s'appuyant sur ceux qui précèdent. C'est la famille qui se trouve derrière la plupart des générateurs de texte actuels. D'autres modèles de langage, entraînés par exemple à reconstruire des mots masqués au milieu d'une phrase, suivent un objectif différent. Ils comptent, mais ils restent hors de notre chemin du jour.

Dernier détail, qui n'en est pas un : ces éléments ne sont pas exactement des mots. Un découpeur fragmente le texte en unités que l'on appelle des tokens, le terme anglais s'étant imposé. Un token peut être un mot courant entier, un morceau de mot plus rare, un signe de ponctuation ou une autre unité choisie par le système. Prédire le prochain token n'est donc pas une simple récitation de vocabulaire. C'est une tentative répétée d'anticiper l'unité suivante dans tout ce que les données contiennent : de la prose, des dialogues, des listes, du code, et bien davantage.

Une prédiction, une erreur

Revenons à notre boulangère. Les mots déjà présents sont découpés en tokens, convertis en nombres, puis traversent le réseau. À la sortie, le modèle attribue un score à chaque token qu'il pourrait placer ensuite, et ces scores deviennent des probabilités. Imaginons qu'il accorde environ soixante pour cent au four, quinze au placard, cinq au congélateur, le reste se dispersant entre une foule de candidats improbables.

Pendant le préentraînement, le système connaît déjà le token qui suivait réellement dans le texte source. Une fonction dite de perte compare alors la probabilité que le modèle accordait à ce token observé avec ce qu'aurait été une prédiction parfaite, et résume l'écart en un seul nombre. Une prédiction juste et assurée donne une perte faible ; une prédiction fausse et assurée, une perte élevée. Le calcul exact porte un nom technique, mais l'essentiel tient en une phrase : la perte transforme la qualité d'une prédiction en une grandeur que l'entraînement peut chercher à réduire.

Et cela ne se produit pas seulement au dernier mot manquant. Chaque séquence offre de nombreux points d'exercice. Après « la boulangère », le modèle prédit une suite ; après « la boulangère glisse », il recommence. Les erreurs de très nombreuses positions, dans de très nombreux textes, peuvent être rassemblées avant chaque correction.

Remarquez bien ce que la cible dit, et ce qu'elle ne dit pas. Elle indique quel token figurait dans le texte d'origine, rien de plus. Elle ne certifie pas que la phrase soit vraie, bienveillante, impartiale, légale ou sage. Si la source contient une affirmation fausse, la prédire fidèlement réduit tout autant la perte. Un dialogue de fiction récompense la poursuite de la fiction. Une erreur de programmation fait partie de la séquence observée au même titre que le reste.

Voilà une des raisons profondes pour lesquelles ces modèles peuvent être à la fois remarquablement capables et faux avec aplomb. Pour bien prédire toutes sortes de textes, il est avantageux d'assimiler la grammaire, le style, des faits, des formes d'argumentation, des relations entre les idées. Mais l'objectif d'entraînement demande quel texte est probable ici, pas quelle affirmation mérite d'être crue. La vérité peut aider la prédiction sans jamais devenir la définition du succès.

Le chemin du retour vers les poids

Une perte n'est qu'une mesure. Pour apprendre, encore faut-il savoir dans quel sens modifier le modèle.

C'est le rôle de la rétropropagation. En remontant pas à pas le calcul qui a produit la prédiction, elle évalue l'effet qu'aurait, sur la perte, une variation infime de chaque paramètre. L'ensemble de ces directions s'appelle le gradient. Un optimiseur s'en sert ensuite pour effectuer une correction destinée à rendre les prochaines prédictions un peu moins mauvaises.

La correction est minuscule et répartie. Des multitudes de poids bougent ensemble, chacun d'un rien. Une phrase ne devient pas une fiche rangée dans un tiroir, et personne ne désigne un nombre particulier pour lui confier que le pain va au four. La représentation utile émerge de l'accumulation de corrections produites par des exemples innombrables.

Un exemple n'agit d'ailleurs jamais seul. L'entraînement regroupe les textes en lots ; leurs contributions s'additionnent, et l'optimiseur choisit un pas d'après ce signal collectif. Les lots suivants pourront renforcer, affiner ou contredire en partie ce que les précédents avaient encouragé. L'ordre des données, la taille du pas, le choix de l'optimiseur et bien d'autres décisions d'ingénierie pèsent sur ce processus.

Résumons la boucle entière. Du texte entre, découpé en tokens. Le modèle distribue des probabilités sur les suites possibles. Les tokens observés produisent une perte. La rétropropagation calcule le gradient. L'optimiseur ajuste les paramètres. Puis un nouveau lot arrive.

Répétez cette boucle assez longtemps, sur des matériaux assez variés, et le modèle devient capable de bien plus que compléter des tournures familières. Il doit tenir des dépendances à l'échelle d'une phrase, entretenir des structures sur des paragraphes entiers, distinguer des registres, suivre des relations, combiner des motifs dans des configurations qu'il n'a peut-être jamais rencontrées telles quelles. C'est pourquoi dire qu'il se contente de ressortir la phrase enregistrée la plus proche est faux. Mais dire qu'il range des concepts propres et consultables le serait tout autant. Ce qui a changé, c'est un vaste système numérique dont le comportement reflète les régularités que l'entraînement a récompensées.

De la phrase au préentraînement

Notre phrase de boulangerie offrait un motif facile. Le vrai préentraînement traverse des matériaux radicalement différents. Un jugement de tribunal récompense l'attention aux définitions et aux réserves. Un dialogue récompense le sens des tours de parole et des usages sociaux. Du code informatique exige une syntaxe exacte et des dépendances cohérentes. Un article scientifique relie méthodes, résultats et conclusions. Le même objectif de prédiction les rencontre tous.

Cette variété est précieuse, car un motif observé dans mille contextes vaut plus qu'une tournure attachée à une seule page. La même relation peut apparaître sous une forme solennelle, familière, interrogative ou illustrée d'un exemple. L'entraînement peut alors façonner des représentations qui se transportent d'un cas à l'autre, au lieu de simples souvenirs exacts.

Mais la composition du corpus pèse lourd. Des documents dupliqués font revoir le même passage bien plus souvent que prévu. Des textes médiocres renforcent des erreurs. Un contenu qui resurgit plus tard dans une évaluation fait paraître un test plus facile qu'il ne l'est. Des travaux consacrés à la déduplication des données d'entraînement ont montré qu'en retirant les répétitions, on réduit la restitution mot pour mot tout en obtenant une précision égale ou meilleure, avec moins d'étapes d'entraînement.

La mémorisation existe pourtant bel et bien. Dans certaines conditions, un modèle peut restituer presque à l'identique des passages distinctifs de ses données. C'est important pour la vie privée, le droit d'auteur et l'évaluation. Ce n'est pas, pour autant, une description complète de son fonctionnement ordinaire. Le même modèle répond aussi à des questions inédites, combine des motifs et travaille sur des textes qu'aucune page n'avait réunis.

Deux descriptions simples échouent donc ensemble. Le corpus ne survit pas dans les poids comme une bibliothèque bien classée que l'on pourrait feuilleter. Et il ne s'évapore pas non plus sans laisser de traces récupérables. Les paramètres encodent une structure statistique répartie, des associations factuelles, parfois des séquences exactes. Et l'accès à tout cela est inégal. Le modèle peut réussir un fait sous une formulation et le manquer sous une autre. Il ne sait pas d'où l'information lui vient, et il ne peut pas en citer la source du seul fait qu'une association a pesé sur sa réponse.

Taille, données et calcul

Si le préentraînement n'est qu'une longue accumulation de petites corrections, une idée simple vient vite : il suffirait de tout agrandir. De fait, des travaux empiriques ont observé des améliorations étonnamment régulières quand la taille du modèle, la quantité de données et le calcul disponible augmentaient de concert. On parle de lois d'échelle.

Le mot loi promet trop. Il s'agit de régularités mesurées dans des régimes précis, avec certaines architectures et certaines données. Elles aident à estimer ce qu'un entraînement coûteux pourrait donner avant de le payer. Elles ne garantissent ni un progrès sans fin, ni la même amélioration pour chaque capacité, ni que toutes les données se valent.

Surtout, les trois ingrédients sont solidaires. Un modèle plus grand peut représenter des motifs plus complexes, mais cette capacité reste en friche s'il voit trop peu d'exemples. Davantage de données ne servent à rien sans le calcul nécessaire pour les parcourir. Et un même budget de calcul peut se répartir très différemment. Des travaux ultérieurs ont corrigé une intuition répandue : consacrer l'essentiel du budget à grossir le modèle, en le nourrissant trop peu, produit un système sous-entraîné. Un modèle plus modeste, entraîné sur beaucoup plus de texte, peut faire mieux à coût comparable. La leçon n'est pas que petit vaut toujours mieux. C'est que le nombre de paramètres ne se juge jamais seul.

La qualité complique encore le tableau. Une montagne de textes répétés ou trompeurs ne vaut pas la même montagne de textes choisis, divers et vérifiés. Le filtrage, la déduplication, l'équilibre entre les langues et le mélange des domaines façonnent le comportement final. Un modèle peut briller en anglais et trébucher dans une autre langue simplement parce que la matière d'entraînement différait en quantité, en qualité ou en diversité.

Les lois d'échelle sont donc des cartes de territoires déjà mesurés, pas des promesses sur toutes les destinations. Elles expliquent pourquoi un entraînement moderne se planifie comme un arbitrage. Quelle taille de modèle peut-on entraîner correctement, sur combien de données convenables, avec le calcul dont on dispose ? La réponse détermine à la fois la capacité d'ensemble et les endroits, inégaux, où le modèle continuera de buter.

Du modèle de base à l'assistant

Au sortir du préentraînement, on obtient un modèle de base : un continuateur de texte parfois impressionnant, mais pas encore un assistant fiable. Posez-lui une question, et il peut y répondre, ou bien la prolonger, ou imiter un fil de discussion, ou choisir toute autre suite plausible. On lui a appris à modéliser du texte, pas à traiter chaque message comme une consigne qui mérite une réponse utile.

Le post-entraînement remodèle ce comportement. Le terme anglais post-training circule beaucoup dans le domaine ; l'idée, elle, est simple : continuer d'entraîner le modèle, mais vers un comportement voulu. Une méthode fournit des démonstrations, c'est-à-dire des consignes accompagnées de réponses exemplaires, sur lesquelles le modèle est ajusté. C'est le réglage fin supervisé. Une autre méthode recueille des préférences : on produit plusieurs réponses à une même demande, des personnes ou d'autres systèmes indiquent laquelle paraît la meilleure, et ces jugements guident ensuite une optimisation, par apprentissage par renforcement à partir de retours humains, ou par des techniques qui apprennent plus directement de ces comparaisons. Chaque équipe combine ces méthodes à sa façon. Il n'existe pas de recette universelle.

On résume parfois la chose ainsi : le préentraînement donne le savoir, le post-entraînement donne les bonnes manières. C'est mémorable et insuffisant. Le post-entraînement peut décider si le modèle tente une tâche, comment il la traite, quelles informations il met en avant, comment il gère l'incertitude, et s'il se sert d'outils. Il peut renforcer certaines capacités et en affaiblir d'autres. Il peut aussi rendre une réponse plus assurée sans la rendre plus vraie, car les exemples choisis peuvent contenir des erreurs et les jugements humains peuvent diverger.

Le mot retour d'expérience mérite la même prudence. Pendant le préentraînement ordinaire, le token suivant fournit la cible automatiquement. Pendant le post-entraînement, le signal peut venir d'exemples soigneusement préparés, de comparaisons humaines, de vérifications automatiques ou de mélanges de tout cela. La recette exacte compte.

Une chose demeure : un post-entraînement réussi modifie les paramètres. Il fait partie du modèle durable, contrairement à un rappel tapé dans une conversation. Il transforme un continuateur doué en quelque chose de très proche de l'assistant que chacun connaît. Mais il n'efface ni les limites des données, ni celles des objectifs qui le sous-tendent, et il ne garantit pas la vérité. Il déplace ce que l'entraînement récompense.

Poids, contexte et recherche

Racontez à un assistant l'existence d'une jeune entreprise créée après l'entraînement de son modèle. Donnez-lui une courte description, demandez une analyse. Il s'en servira peut-être immédiatement, et bien. A-t-il appris cette entreprise ?

Au sens durable que nous avons défini, normalement non. Votre description appartient au contexte : la matière fournie pour le calcul en cours. Elle peut orienter chaque mot de la réponse sans toucher aux poids entraînés. Ouvrez une nouvelle conversation sans cette description, et l'information aura probablement disparu.

Les exemples fonctionnent de la même manière. Montrez au modèle deux fiches bien rédigées et demandez-en une troisième : sa réponse épousera souvent le schéma proposé. On appelle cela l'apprentissage en contexte. Le comportement s'adapte nettement, le temps de la requête, sans qu'il y ait besoin d'un gradient, d'un pas d'optimiseur ni d'une mise à jour permanente.

La recherche documentaire ajoute une troisième voie. Un système qui entoure le modèle interroge une collection externe, sélectionne des passages jugés pertinents et les glisse dans le contexte. Le modèle peut alors répondre à partir d'un document que ses données d'entraînement n'ont jamais contenu. C'est puissant, parce que la collection peut être tenue à jour et conserver ses sources. C'est aussi faillible. La recherche peut rapporter le mauvais passage, le document pertinent peut manquer, et le modèle peut mal lire ce qu'on lui tend.

Nous pouvons maintenant distinguer trois sources pour une réponse. Les poids portent les motifs installés par le préentraînement et le post-entraînement. Le contexte contient la conversation, les consignes, les exemples et tout texte fourni directement. La recherche choisit des documents externes et les ajoute à ce contexte. Seule la première catégorie témoigne nécessairement d'un apprentissage durable du modèle lui-même.

Les frontières se compliquent dans les systèmes conçus pour se mettre à jour en continu, et certains produits conservent des souvenirs à l'extérieur du modèle pour les resservir dans de futures conversations. La distinction n'en reste pas moins précieuse. Quand une réponse change, demandez ce qui a changé. Les poids ont-ils été mis à jour ? Le contenu de la requête était-il différent ? Ou la recherche a-t-elle rapporté une autre source ? Ces mécanismes se ressemblent en surface. Ils diffèrent profondément en fiabilité, en coût et en respect de la vie privée.

Une question à emporter

Nous pouvons enfin terminer la phrase du début.

La boulangère glisse le pain dans le four. La suite nous paraît évidente parce que notre expérience et notre langue la rendent familière. Pour un modèle autorégressif, cette attente est le produit de l'entraînement. Sur d'innombrables séquences, des erreurs de prédiction ont engendré des gradients ; des optimiseurs ont ajusté des paramètres ; la répétition a rendu certaines structures et certaines relations faciles à représenter. Le modèle a appris, au sens de l'ingénieur : ses réglages durables ont changé d'une manière qui améliore sa tâche.

C'est une affirmation substantielle, et une affirmation limitée. Elle ne signifie pas qu'un paramètre contient le four, que le corpus survit en base de données ordonnée, ni que le modèle confronte chaque suite à la réalité. Elle ne garantit pas qu'un fait glissé dans la conversation d'aujourd'hui existera encore demain. Et elle ne nous dit pas si le système comprend le pain, la chaleur ou l'intention comme une personne les comprend, ni s'il éprouve quoi que ce soit. Le mécanisme d'entraînement ne tranche pas ces questions, ni dans un sens ni dans l'autre.

Le mépris inverse va trop loin lui aussi. Réduire le modèle à une saisie automatique un peu grosse masque tout ce qu'exige une prédiction réussie. Généraliser sur des textes inconnus, suivre une consigne, combiner plusieurs éléments fournis : c'est un comportement réel, qui mérite une explication précise. On ne gagne rien à en faire un esprit humain, et rien à prétendre qu'il se contente de piocher la phrase la plus proche dans une boîte de phrases toutes faites.

Gardez donc une question de diagnostic pour la prochaine fois qu'un système d'intelligence artificielle vous étonnera : d'où vient ce comportement ?

Peut-être des motifs formés pendant le préentraînement. Peut-être d'un post-entraînement qui a récompensé un certain style de réponse. Peut-être des consignes et des exemples de la conversation en cours. Peut-être d'un document rapporté à l'instant par une recherche.

Ces chemins peuvent se rejoindre dans une même réponse, mais ce ne sont pas les mêmes processus. Savoir lequel vous avez sous les yeux, c'est commencer à comprendre ce que le système a vraiment appris, ce qu'il ne fait que tenir en main pour l'instant, et d'où viendra sa prochaine erreur.