Pourquoi ChatGPT se trompe et comment vérifier sa réponse

Vous avez demandé un coup de main pour le travail, la réponse est arrivée bien ficelée, avec un nom d’auteur, une année et une page. Vous êtes allé chercher la référence et elle n’existe pas. Ni le livre, ni l’auteur. Ou alors c’était le calcul : l’IA a additionné six montants et a rendu un total faux, avec l’assurance de quelqu’un qui a une calculatrice à la main. Si cela vous est déjà arrivé, ce n’est pas parce que vous avez mal écrit votre demande.

Se tromper fait partie du fonctionnement de cette technologie, et comprendre pourquoi change ce que vous faites de la réponse. Dans cette leçon vous allez voir les cinq types d’erreur qui reviennent toujours, pourquoi elle invente des références avec autant d’aplomb, où la vérification n’est pas facultative, et une routine de trente secondes qui attrape presque tout. Environ 9 minutes de lecture, et le passage le plus important est celui du milieu : l’erreur qui n’a pas l’air d’une erreur.

La règle d’or : elle ne sait pas, elle estime

La première leçon du cours résume le fonctionnement en une phrase qu’il faut ramener ici : l’intelligence artificielle ne sait pas, elle estime. Il n’y a aucune encyclopédie rangée à l’intérieur. Elle calcule, morceau par morceau, quelle suite est la plus probable pour le texte que vous avez écrit, à partir de tout ce qu’elle a lu avant.

Cela explique ce qui ressemble à une contradiction. Elle vise juste sur ce qui est courant et dérape sur ce qui est rare, parce que le courant est apparu des milliers de fois dans sa matière et le rare une fois ou zéro. Et elle se trompe avec exactement la tête de celle qui a raison, parce que la fluidité d’un texte n’a aucun rapport avec sa véracité. Écrire « selon l’article 47 de la loi sur les baux » de façon convaincante est facile, y compris quand cet article parle d’autre chose.

Et ce n’est pas le défaut d’une marque : cela vaut pour ChatGPT, Gemini, Copilot, Claude et pour ce qui viendra après. Changer d’outil ne règle rien. Changer ce que vous faites de la réponse, si.

Les cinq erreurs, et ce que chacune vous coûte

Toutes les erreurs ne sont pas du même type, et c’est pour cela que le conseil générique « vérifiez toujours » n’aide personne. Vérifier quoi, et où ? Le tableau ci-dessous résume l’article entier.

Les deux premières se règlent avec une recherche. Les trois dernières sont glissantes, parce que la réponse y reste vraie à chaque phrase et vous emmène quand même au mauvais endroit.

Pourquoi elle invente sources, auteurs et numéros d’article

Le nom technique de cela est hallucination, et le nom est mauvais, parce qu’il suggère une crise passagère chez une machine qui saurait normalement. Elle fait ce qu’elle fait toujours : estimer le texte le plus probable. Or une référence bibliographique a une forme prévisible : nom, virgule, initiale, année entre parenthèses, titre en italique. Remplir cette forme avec des mots plausibles, c’est précisément ce qu’elle réussit.

C’est pour cela que la référence inventée est presque toujours jolie. L’auteur existe, la revue existe, l’année tient debout, et seul l’article lui-même n’a jamais été écrit. C’est le pire type d’erreur à attraper à l’oeil, parce que tout autour est juste. La règle est courte : nom propre, chiffre et citation sortent de l’IA comme hypothèses, jamais comme faits. Si elle vous a donné un nom, cherchez le nom. Si elle vous a donné un article de loi, ouvrez la loi.

Et elle invente en image pour la même raison. Quand vous lui demandez de Restaurer une photo de mariage ancienne avec l’IA, elle ne découvre pas ce qu’il y avait sous la pliure : elle dessine une proposition plausible pour ce morceau. Le noeud de la robe qui revient net n’a peut-être jamais eu cette forme, et personne dans la famille ne saura le dire. Sauf que sur une photo de 1962 il n’existe aucune source à vérifier, alors la règle devient autre : gardez l’original à côté de la version restaurée et traitez le résultat comme une récupération, pas comme un document.

Calcul, date et délai : l’erreur que la règle attrape sur le champ

L’explication est la même et la conséquence est autre. Comme elle estime la suite du texte au lieu de calculer, le résultat sort par ressemblance avec des calculs voisins. Elle réussit les petites additions avec une facilité qui trompe, puis se plante sur 18 % de 4 380 sans changer de ton.

La bonne nouvelle, c’est que c’est l’erreur la moins chère à vérifier, parce que la règle est déjà dans votre main. Mieux que refaire à la calculatrice : sortez le calcul de la conversation et rendez-le à ce qui calcule, en demandant la formule plutôt que le résultat, comme le fait Formule de Tableur Immédiate. Le tableur calcule juste et vous pourrez changer les nombres plus tard sans reposer la question.

Dates et délais tombent dans le même panier, avec une circonstance aggravante : elle ne sait pas quel jour on est si vous ne le dites pas. Une réponse sur « le délai qui expire dans 30 jours » n’a plus de sens si elle s’est trompée de mois. Écrivez la date du jour dans la demande dès qu’il y a un délai.

Le biais : l’erreur qui n’a pas l’air d’une erreur

C’est la plus difficile, parce qu’il n’y a aucune phrase fausse à pointer. L’IA a appris sur une matière qui contient bien plus de texte sur certaines choses que sur d’autres, et elle rend la moyenne de tout cela. Demandez une idée d’entreprise et vous aurez les cinq mêmes que d’habitude. Demandez un plan de révision et vous aurez celui qui convient à la majorité, qui ne vous convient peut-être pas.

Le symptôme est toujours le même : la réponse est bonne et elle est générique. La correction aussi, et c’est une question de plus. « Quel est le point de vue inverse ? » « Qu’est-ce qui a été laissé de côté ? » « Donne trois pistes que personne ne propose d’habitude. » Ce deuxième message sépare ceux qui utilisent l’IA de ceux qui publient la première réponse venue.

Et il existe une version personnelle du biais qui gêne plus que la statistique : la vôtre. Quand la demande porte déjà en elle la réponse que vous voulez entendre, elle acquiesce. Demander « pourquoi l’option A est-elle meilleure ? » garantit un texte à la gloire de l’option A, même quand la bonne est la B.

La flatterie, et pourquoi c’est l’erreur la moins chère à corriger

Vous avez sans doute remarqué que contredire l’IA marche beaucoup trop vite. Vous dites que la réponse est fausse, elle s’excuse et la change, même quand la première était juste. Ce n’est ni de l’humilité ni de la conviction : elle a été réglée pour plaire, et vous donner raison est la suite la plus probable d’une plainte de votre part.

La correction consiste à demander l’inverse, en toutes lettres, avant qu’elle ait l’occasion de vous plaire. C’est la logique du Relecteur de CV Impitoyable, qui réclame une critique dure au lieu d’un compliment. Qui programme a la version exacte de cela dans Relire Votre Code Avant de Déployer : chercher le problème est une demande différente de « c’est bon ? », et elle rend une autre réponse.

Et ce qui change quand la matière est une image

Les quatre erreurs ci-dessus sont des erreurs de texte, et en image elles se réduisent à une seule : l’invention. Un principe simple tient, moins vous demandez, moins elle invente. Pour un visage seulement flou, Améliorer la netteté d’une photo floue en quelques secondes touche très peu et reste le choix le plus sûr quand la photo a une valeur de souvenir. Demander « améliore la photo », sans dire quoi améliorer, revient à l’inviter à réécrire le visage.

L’autre versant, c’est que l’image inventée est déjà devenue trop bonne pour l’oeil. Document Fictif en Main : l’Effet Viral de TikTok est une blague tant que tout le monde sait que c’est une blague, et il montre que ce niveau de réalisme est à une demande de distance de n’importe qui. Si l’image seule ne prouve plus rien, la vérification devient une question d’origine : qui a publié, quand et pourquoi.

La routine de trente secondes

Tout vérifier est impossible et personne ne le fait. Ce qui est possible, c’est de passer chaque réponse par trois questions, toujours dans le même ordre, et de ne vraiment vérifier que ce qui reste.

1. Y a-t-il un nom propre, un chiffre ou une citation ? Si oui, ce morceau est une hypothèse. Marquez-le et vérifiez-le à la source.
2. Combien coûte l’erreur ? Une légende fausse sur les réseaux coûte une correction. Un contrat faux coûte de l’argent. C’est le coût qui décide du temps que vous y passez.
3. Est-ce que cela sonne trop générique ? Si oui, le problème n’est pas la fausseté, c’est le biais. Demandez le point de vue inverse avant de vous en servir.

Seule la première question demande du travail. Les deux autres sont des décisions, et prennent quelques secondes. Sur une réunion enregistrée, par exemple, Compte Rendu de Réunion restitue bien ce qui a été dit, et ce sont les décisions et les responsables qui méritent un second regard : c’est là qu’un « il a été convenu que » peut avoir été déduit plutôt qu’entendu.

Là où vérifier n’est pas facultatif

Il y a des sujets où la réponse de l’IA est un point de départ et jamais une conclusion, et ils ont tous un point commun : quelqu’un signe en bas.

Sur un contrat, le bon usage est celui d’un lecteur rapide qui montre où regarder, et c’est ainsi qu’ont été écrits Analyseur de Contrats et Bail de Location : Vérifie Avant de Signer. Ils vous donnent la liste des clauses à lire attentivement, et ils ne vous donnent pas de certitude juridique, qui reste l’affaire d’un professionnel quand les montants sont élevés.

À l’examen, c’est la même chose sous un autre nom. Correcteur de Dissertation du Bac pointe avec précision ce qui est mou dans votre texte, et la note qu’il met est une estimation, pas la note que vous aurez. Servez-vous des remarques, ignorez le chiffre.

Cinq prompts qui naissent déjà avec la vérification dedans

La meilleure façon de se tromper moins n’est pas de vérifier plus, c’est de demander d’une manière qui rende l’erreur visible. Ces cinq-là le font, dans cet ordre :

1. Commencez par Méthode de Lecture et Fiche de Lecture, qui travaille sur un texte que vous avez fourni : une réponse attachée à une matière que vous avez en main a bien moins de place pour inventer.
2. Ensuite Résumé et Guide de Lecture d’un Livre, qui est le cas inverse et sert d’entraînement : ici elle parle de mémoire, donc c’est là que vous trouvez les erreurs qui calibrent votre méfiance.
3. Transformez ce qui reste en Flashcards et Révision Espacée. Question et réponse courtes, c’est le format où une erreur saute aux yeux, parce qu’il n’y a pas de texte autour pour la masquer.
4. Utilisez Le Mail Professionnel Parfait pour ce qui part avec votre nom. Le risque ici n’est pas le fait faux, c’est le ton faux.
5. Terminez en demandant la critique dure du Relecteur de CV Impitoyable sur ce que vous avez produit dans la journée. C’est le deuxième message qui devient une habitude.

Pour ce même raisonnement appliqué aux révisions, l’article sur l’IA pour réviser descend dans le détail des examens, des concours et des langues.

Questions rapides

Puis-je faire confiance à ChatGPT ?

Vous pouvez lui faire confiance sur un texte que vous avez fourni vous-même, sur un brouillon et sur la mise en ordre d’une idée. Vous ne pouvez pas lui faire confiance sur un fait précis, un chiffre, une citation ou une loi sans vérifier. La différence n’est pas le sujet, c’est l’origine : une information qui vient de l’extérieur de votre conversation est une estimation.

Qu’est-ce qu’une hallucination de l’IA ?

C’est quand elle présente comme un fait une chose qui n’existe pas, du même ton que lorsqu’elle a raison. Cela arrive parce qu’elle complète des formes probables au lieu de consulter une base, et c’est pour cela que c’est plus fréquent sur les références, les noms propres, les dates et les chiffres.

Pourquoi rate-t-elle des calculs simples ?

Parce qu’elle ne calcule pas, elle estime le texte du résultat. Sur les petits calculs cela tombe souvent juste, sur les plus gros non. Demandez la formule au lieu du résultat, ou refaites à la calculatrice.

Se trompe-t-elle plus en français ?

Il y a plus de matière d’entraînement en anglais, donc un sujet très pointu peut sortir plus maigre en français. Au quotidien cela ne se voit presque pas. Ce qui change vraiment, c’est le contexte local : les règles, les délais et les démarches de chez vous sont là où elle se trompe le plus, et là où le site officiel règle la question en une minute.

Un meilleur prompt la fait-il se tromper moins ?

Oui, et beaucoup, mais sur deux des cinq erreurs seulement. Une demande claire réduit la réponse générique et coupe court à la flatterie, comme le montre la leçon sur comment écrire un prompt. Contre les sources inventées et les calculs faux, un bon prompt aide peu : là, ce qui marche, c’est de vérifier.

Comment savoir si une image a été faite par une IA ?

Les vieux indices (une main à six doigts, des lettres brouillées au fond) disparaissent vite. Ce qui marche encore, c’est de regarder l’origine plutôt que l’image : de quel compte elle vient, si elle apparaît à plus d’un endroit et s’il en existe une version antérieure. La leçon sur créer une image à partir d’une photo montre à quel point tout cela est déjà facile.

Par où commencer aujourd’hui

Prenez la dernière réponse utile que l’IA vous a donnée et passez-lui les trois questions de la routine. S’il y a un nom propre ou un chiffre, vérifiez seulement ce morceau. Cela vaut le coup une fois, parce que vous allez découvrir que le travail de vérification est bien plus petit qu’il n’en a l’air.

Ensuite, le hub des prompts de texte contient la collection complète, et la série de cours continue à partir d’ici. Se tromper moins avec l’IA tient moins à trouver le bon outil qu’à savoir quel morceau de la réponse mérite votre attention.