Sunday Latte : Pourquoi l’intelligence artificielle peut sembler sûre d’elle et pourtant se tromper

L'aplomb d'une réponse fausse

Dans une étude publiée en deux mille vingt-cinq, des chercheurs ont posé à trois modèles de langage accessibles au public une question très précise : quel était le titre de la thèse de doctorat du chercheur Adam Tauman Kalai ? Il ne s'agissait pas d'une affaire d'opinion. Quelque part, dans un registre universitaire, existent un titre exact et une année exacte.

Les trois systèmes ont répondu comme on lit une fiche de bibliothèque. Chacun a fourni un titre précis, une université, une année. Le vocabulaire sonnait juste, la chronologie paraissait vraisemblable, rien dans la formulation ne trahissait une improvisation. Pourtant, aucun des trois n'a donné le bon titre, ni la bonne année.

C'est justement cette allure soignée qui rend le cas instructif. Une réponse embrouillée aurait éveillé la méfiance sur-le-champ. Ici, tout semblait à sa place : le ton académique, la forme du titre, les détails biographiques. Seul manquait l'essentiel, le lien exact entre une personne, un travail et une date.

Deux réflexes se présentent alors. Croire qu'une langue élégante révèle un savoir solide. Ou, après une telle erreur, décréter que chaque réponse d'une intelligence artificielle n'est qu'un tirage au sort bien habillé. Aucun des deux ne tient. Ces modèles savent réellement retrouver des informations, comparer des arguments, éclairer des idées difficiles. Ils peuvent aussi inventer un nom, une date ou une citation sans que leur voix change. Leurs réussites et leurs échecs poussent sur les mêmes racines.

La question du jour n'est donc pas de savoir pourquoi une machine se trompe : tout système d'information se trompe, et nous aussi. La question est de comprendre pourquoi l'erreur peut arriver avec autant de calme. Que prouve un texte fluide ? Que serait une confiance réellement mesurée ? Que changent la recherche et les outils ? Et comment profiter d'un assistant éloquent sans épouser son ton ni suspecter chacune de ses phrases ?

Une précision encore : cet exemple ne classe pas les trois modèles interrogés et ne mesure pas leur fiabilité générale. Il montre un mécanisme. La thèse nous accompagnera jusqu'au bout, car un fait rare et exact, enveloppé d'un langage familier, est l'endroit idéal pour voir comment un système peut sembler certain et se tromper.

Ce que prouve un texte fluide

Un modèle de langage écrit sa réponse pas à pas. Il reçoit la question et tout le texte déjà produit, puis attribue des probabilités aux tokens possibles, ces petites unités de texte qui peuvent être un mot, un morceau de mot ou un signe de ponctuation. Une procédure de décodage en choisit un, l'ajoute au contexte, et la prédiction recommence.

Décrite ainsi, l'opération paraît trop modeste pour expliquer une argumentation entière. Mais les tokens ne sont pas choisis isolément. Chaque pas dépend de tout ce qui précède, et l'entraînement a façonné un immense système numérique pour représenter à la fois la grammaire, le style, des faits, des genres et des schémas de raisonnement. Voilà pourquoi une longue suite de prédictions locales peut devenir une explication ordonnée, une clause juridique ou un programme informatique. La fluidité est une capacité réelle, pas une salade de mots chanceuse.

La limite se cache dans la cible de l'entraînement. Pendant le préentraînement, la consigne est de donner davantage de probabilité à la suite qui figurait réellement dans le texte. Cette suite n'arrive pas accompagnée d'un certificat de vérité. Un manuel rigoureux, un conte, une hypothèse, une erreur répandue : tout cela constitue des continuations parfaitement apprenables. Comme le monde laisse des traces massives dans nos écrits, prédire du texte développe un vrai savoir factuel. Mais la vérité aide la prédiction sans devenir la définition du succès.

Et pendant la génération ordinaire, aucune vérification externe ne se déclenche automatiquement. Un token peut convenir admirablement à sa phrase sans que la phrase ait été confrontée à un registre fiable. Un système environnant peut ajouter une recherche ou un contrôle ; sans cela, le modèle travaille avec ses poids et le contexte du moment.

On comprend alors la forme des réponses sur la thèse. Les titres de doctorat, les universités et les années suivent des motifs très familiers. Produire cette texture professionnelle est une chose ; restituer le lien exact entre une personne précise et un titre précis en est une autre. La fluidité prouve que le modèle sait construire une excellente continuation. Elle ne prouve pas, à elle seule, que cette continuation mérite d'être crue.

Quand la vraisemblance comble le vide

Pour ces inventions convaincantes, on emploie souvent le mot hallucination. Le terme donne l'impression d'un défaut unique ; il recouvre en réalité plusieurs pannes différentes.

Parfois, le modèle répète une idée fausse que les humains eux-mêmes écrivent souvent. Des chercheurs ont construit exprès une série de questions dont la réponse familière est erronée, et les modèles produisaient régulièrement des versions fluides et détaillées de ces idées reçues. Bien imiter nos textes ne protège pas de nos erreurs.

Les faits rares et arbitraires posent un autre problème. La date de naissance d'une célébrité apparaît dans des milliers de pages ; le titre d'une thèse peu citée n'apparaît peut-être qu'une fois, ou pas du tout. Le moule, lui, reste solide : le modèle sait à quoi ressemblent un titre, une référence, une carrière académique. Il peut donc assembler des éléments compatibles entre eux en une identité qui n'a jamais existé. Des travaux mathématiques expliquent, sous des hypothèses précises, pourquoi ces associations rares sont statistiquement difficiles ; ils ne fixent pas pour autant un taux d'erreur valable pour tous les systèmes en service.

D'autres manques viennent de la question elle-même. Quel droit s'applique, si le pays n'est pas précisé ? La boutique est-elle ouverte, sans date ni lieu ? Faute d'information, une hypothèse par défaut peut se glisser dans la réponse et s'y déguiser en fait. D'autres erreurs encore naissent d'un calcul, d'un raisonnement ou d'un outil mal employé. Dire simplement que le modèle a tout inventé ne diagnostique rien et n'indique pas le bon remède.

Une précision importante : hallucination ne veut pas dire mensonge. Mentir suppose l'intention de tromper. Le mot désigne ici une sortie fausse ou sans appui, pas une expérience intérieure.

Enfin, réduire la part de hasard dans la génération rend les réponses plus stables, pas plus vraies : une association fausse mais probable peut simplement revenir avec plus de régularité. Des réponses qui varient d'un essai à l'autre sont un avertissement. Des réponses identiques rassurent moins qu'il n'y paraît, car plusieurs essais peuvent puiser dans le même mythe. La constance montre la stabilité, pas la vérification.

Trois sens du mot confiance

Une partie de la confusion vient d'un seul mot employé pour trois réalités.

La première est le ton. Une réponse peut dire certainement, ou paraître sûre d'elle par sa structure impeccable, ses détails précis et son absence de réserves. Ce sont des propriétés du langage produit, des choix de présentation.

La deuxième est la probabilité à l'intérieur du processus de prédiction. À chaque pas, le modèle note les tokens candidats ; dans une question fermée, il peut aussi noter chacune des options de réponse. Ces nombres appartiennent à un format de prédiction particulier. La probabilité d'un token mélange d'ailleurs l'incertitude sur le fait et l'incertitude sur la formulation, puisqu'une même affirmation peut s'écrire de mille manières. Elle ne se lit pas directement comme la probabilité qu'une proposition soit vraie.

La troisième est une estimation de la probabilité qu'une réponse soit correcte. C'est là qu'intervient la calibration. Imaginons cent réponses auxquelles un système attache soixante-dix pour cent de confiance. S'il est bien calibré dans ce cadre, environ soixante-dix d'entre elles devraient être justes. La calibration est une propriété d'ensemble, jamais un certificat pour la réponse posée devant nous.

Ces niveaux peuvent se découpler. Une phrase peut sonner tranchée alors que les continuations possibles se dispersent largement, et une idée reçue peut recevoir une probabilité élevée. Dans des expériences soigneusement cadrées, des modèles ont évalué leurs propres réponses avec une justesse parfois surprenante ; sur des tâches nouvelles ou difficiles, la même mécanique redevenait trop sûre d'elle. Une calibration acquise dans un cadre ne voyage pas partout intacte.

Quant à la phrase je suis sûr à quatre-vingt-dix pour cent, elle reste du texte généré tant qu'aucune méthode validée ne se tient derrière. Le nombre ne s'authentifie pas lui-même.

Précision et calibration diffèrent aussi. Un système très précis peut exagérer son assurance. À l'extrême, un système qui se tromperait toujours en annonçant toujours zéro pour cent de confiance serait, sur ce petit terrain, parfaitement calibré, tout en n'offrant que des réponses fausses. La voix calme en surface n'ouvre donc pas de fenêtre sur une certitude intérieure unique : ton, probabilité de prédiction et fiabilité mesurée sont des signaux voisins, pas interchangeables.

Quand deviner rapporte des points

Le préentraînement produit un modèle du langage. Un travail supplémentaire en fait l'assistant que chacun connaît : des démonstrations lui montrent comment suivre une consigne, des comparaisons entre réponses récompensent ce que des personnes jugent utile, clair, prudent ou agréable. Ce post-entraînement peut réellement améliorer l'exactitude et apprendre les réserves à propos. Il fonctionne pourtant toujours par objectifs et par exemples, pas par détecteur universel de vérité.

Or nos préférences contiennent des tensions. Nous aimons les réponses directes, nous détestons les refus inutiles, et nous apprécions qu'on nous donne raison. Dans des études contrôlées, des évaluateurs humains et des modèles de préférence entraînés ont parfois préféré un assentiment bien tourné à une réponse correcte. Un entraînement peut hériter des faiblesses des jugements qui le nourrissent.

L'évaluation ajoute une pression du même ordre. Imaginons un examen qui accorde un point à la bonne réponse, et zéro aussi bien à la mauvaise réponse qu'à un honnête « je ne sais pas ». Dès qu'une supposition a la moindre chance d'aboutir, tenter sa chance améliore le score attendu ; s'abstenir ne rapporte jamais rien. Beaucoup d'épreuves influentes suivent peu ou prou ce barème. Personne n'y cherche la fausseté : simplement, une mesure qui compte surtout les bonnes réponses, sans valoriser l'incertitude appropriée, avantage le modèle qui répond toujours face à celui qui connaît ses limites.

Le remède n'est pas un assistant timoré qui se dérobe à chaque question délicate. L'objectif raisonnable est une confiance sélective : répondre franchement quand la base est suffisante, demander une précision quand la question est incomplète, s'abstenir quand une erreur coûterait trop cher. Ce seuil doit bouger avec l'enjeu : une devinette dans un jeu de mots n'est pas un dosage de médicament, ni un délai légal, ni une accusation portée contre une personne réelle.

La voix assurée d'un assistant est d'abord sculptée par les habitudes de notre propre langue, puis par ce que le post-entraînement et les examens récompensent. Une réponse fausse et confiante peut naître simplement parce que répondre est plus visiblement payé que savoir se taire.

Vrai dans le monde, fidèle à la source

Il reste une distinction précieuse : celle qui sépare la vérité de la fidélité.

Supposons que nous demandions le résumé d'un document précis. La réponse glisse une affirmation qui ne figure nulle part dans le document, mais qui se trouve être exacte par ailleurs. Vue du monde, la phrase est vraie. Vue de la tâche, le résumé n'est pas fidèle à sa source : il promettait de rapporter un texte, et il a rapporté autre chose.

L'inverse existe aussi. Un document contient une erreur, et le modèle le résume à la perfection. La réponse est fidèle, et fausse. Pour juger une sortie, il faut donc poser deux questions distinctes : la réponse restitue-t-elle correctement la source fournie ? Et la source décrit-elle correctement la réalité ?

Le mot hallucination, employé pour tout, masque ces différences. Inventer une publication inexistante, attribuer à une source une phrase absente, dérailler dans un raisonnement à partir de faits justes : ce sont trois pannes différentes, qui appellent trois contrôles différents. Nommer le défaut concret aide davantage qu'une étiquette unique.

La nature de la vérification suit la nature de l'affirmation. Une citation se compare à l'original. Une date officielle se cherche dans le registre compétent. Un résultat chiffré se recalcule avec un outil adapté. Et quand une question est disputée ou encore ouverte, exposer honnêtement des sources en désaccord est plus fidèle que forcer une conclusion unique.

L'utilité, enfin, est encore une autre dimension. Une réponse peut être vraie et fidèle sans répondre au besoin réel, ou constituer une excellente proposition créative sans prétendre décrire un fait. Avant de juger un texte, mieux vaut savoir quelle promesse il faisait.

Ce que la recherche change vraiment

La question de la thèse change de visage dès que le système peut chercher.

Au lieu de compter uniquement sur les motifs mémorisés dans ses poids, un assistant complet peut récupérer un catalogue universitaire, une biographie institutionnelle ou une notice pertinente, et placer le passage utile dans le contexte du moment. Le modèle formule alors sa réponse avec un document sous les yeux, y compris pour des informations publiées après son entraînement. La collection externe peut être mise à jour sans réentraîner le modèle, et un chemin vers la source subsiste. Sur les tâches étudiées, ces procédés ont produit des réponses nettement plus factuelles.

D'autres outils déplacent carrément l'opération hors de la génération de texte. Une calculatrice exécute le calcul, une base de données renvoie la valeur stockée, un calendrier tranche la date. Un modèle peut apprendre quand appeler ces interfaces et comment intégrer leur résultat.

Mais un outil crée une chaîne, pas une garantie. La requête peut viser à côté. Le résultat peut concerner un homonyme, être périmé, ou recopier l'erreur d'une autre page. Le bon document peut être récupéré puis noyé dans du matériel sans rapport : la position d'une information dans un long contexte influence réellement la performance. Le modèle peut manquer la phrase décisive, la lire de travers, ou affirmer plus qu'elle n'autorise. Même un résultat de calcul exact peut être mal recopié dans la réponse finale.

Les citations aident parce qu'elles exposent une partie de cette chaîne. Ce sont des poignées d'inspection, pas des sceaux de vérité. Une référence peut exister sans soutenir la phrase qu'elle accompagne, et des travaux sur les réponses munies de citations montrent que des systèmes très fluides laissent encore des affirmations importantes sans appui. Dix pages qui se recopient ne font pas dix confirmations indépendantes.

La recherche et les outils réduisent donc des pannes bien réelles, sans transformer la génération probabiliste en base de données infaillible. Leur vrai apport est ailleurs : une affirmation peut désormais reposer sur quelque chose de visible, au-delà de l'assurance de la prose.

Retour à la thèse introuvable

Revenons une dernière fois à la thèse d'Adam Tauman Kalai.

Après trois titres bien tournés et faux, demander simplement au modèle s'il est sûr n'arrangerait rien. Il pourrait ajouter une prudence sincère, ou générer une phrase rassurante de plus. Répéter la question jusqu'à obtenir des réponses concordantes ne prouverait rien non plus : plusieurs essais peuvent refléter la même association erronée ou des sources qui se recopient. Le désaccord des trois modèles, lui, était un signal précieux, car il révélait une instabilité sur le sens, pas seulement sur les mots. Mais si les trois avaient répété le même titre faux, cette unanimité ne l'aurait pas rendu vrai.

Un traitement sérieux de la question suivrait un autre chemin. Trouver un registre universitaire ou une notice institutionnelle faisant autorité. Vérifier d'abord qu'il s'agit du bon Adam Kalai, et non d'un homonyme. Contrôler ensuite que le document contient réellement le titre et l'année. N'affirmer, enfin, que ce que ce document soutient, sans meubler les vides avec des détails biographiques plausibles : une biographie plus fournie ne compense pas un titre non vérifié, elle ajoute seulement des affirmations à contrôler.

Et si aucune notice concluante n'apparaît ? Alors « je ne peux pas vérifier le titre exact » est une meilleure réponse qu'une reconstitution élégante. Ce n'est pas un échec, c'est une information. Le but de la recherche n'est pas d'obliger le système à remplir la case, mais de séparer ce qui est étayé de ce qui reste ouvert.

Ce petit cas rend visible une règle générale. Plus un fait est précis, rare et arbitraire, moins la forme du langage peut remplacer la vérification. Les noms propres, les titres exacts, les dates, les citations et les statistiques méritent une attention particulière, précisément parce que leur version fausse peut sonner parfaitement naturelle.

Où poser sa confiance

Rien de tout cela n'oblige à vérifier chaque adjectif dans une archive. L'effort de contrôle doit suivre l'usage de la réponse et le prix d'une erreur.

Pour une liste de noms destinés à un café imaginaire, la précision factuelle importe peu. Pour une date d'expiration de visa, une interaction entre médicaments ou une obligation contractuelle, un seul détail faux peut ruiner une réponse par ailleurs excellente ; il faudra la source compétente, ou une personne qualifiée capable d'assumer le contexte que le modèle ne voit pas. Plus la conséquence est lourde, moins le ton doit peser.

Souvent, une longue réponse tient sur une seule affirmation charnière : une date, une citation, un pourcentage, une version de produit, la règle applicable dans un pays donné. Repérer cette charnière et la vérifier directement vaut mieux que se méfier uniformément de chaque phrase.

Demander des sources n'aide que si on les ouvre ensuite. La référence existe-t-elle, parle-t-elle du bon sujet, soutient-elle précisément l'affirmation ? Un document original ou une autorité compétente vaut généralement mieux qu'un empilement de pages qui se répètent. La question elle-même peut dissiper de l'incertitude : donner la date, le lieu, la version, le document applicable, ou inviter le modèle à nommer ce qui lui manque avant de répondre. Le simple « es-tu sûr », en revanche, est un test faible : le modèle peut répéter sa phrase avec plus d'aplomb, ou retirer une réponse juste par complaisance. Mieux vaut demander sur quoi l'affirmation repose, quelle part est déduite, et quelle information changerait la conclusion.

Les essais multiples restent instructifs, à condition de modestie. Des réponses changeantes doivent faire baisser la confiance ; une réponse stable peut la faire monter un peu, mais une idée reçue stable reste une idée reçue.

Séparons enfin le brouillon du fait établi. Le même modèle peut organiser admirablement un argument et manquer un nom décisif. Gardons la structure utile, vérifions le détail, sans accepter ni rejeter la prestation en bloc.

Les distinctions du jour tiennent en quelques phrases. La fluidité mesure l'accord d'un texte avec les habitudes de la langue. L'assurance du ton appartient à la présentation. La calibration compare des probabilités annoncées à des résultats observés, sur la durée. La vérité et la fidélité dépendent du monde et des sources. Quand une réponse sonne sûre d'elle, écoutons d'abord cette assurance comme une mise en forme, puis demandons sur quoi la phrase repose et ce que coûterait une erreur. Une voix chaleureuse et un paragraphe net rendent une réponse facile à croire ; seules les preuves peuvent la rendre digne de l'être. Garder ces rôles séparés, c'est utiliser l'intelligence artificielle sans emprunter sa certitude.