Les IA génératives comme ChatGPT deviennent de plus en plus stupides

Portland, OR, USA - Les IA génératives ChatGPT, Gemini, Claude, Perplexity, Meta AI, Microsoft Copilot et Grok. Photo: iStock.com/hapabapa

Publié 01/09/2025 par Pascal Lapointe

Plus on avance dans le temps, plus le contenu de l’ensemble d’Internet sera «pollué» par des créations de l’intelligence artificielle comme ChatGPT. Mais à partir de quel seuil cela commencera-t-il à nuire au développement… de l’IA?

C’est le paradoxe de ces outils capables de générer une quantité astronomique de contenu à partir de l’ensemble du savoir humain disponible sur Internet.

Le savoir en question a beau être immense, il n’en a pas moins des dimensions finies. Par conséquent, plus des IA comme ChatGPT produisent… plus leurs contenus se répandent aux quatre coins d’Internet… et plus les IA suivantes produisent du contenu qui s’appuie sur le contenu des IA précédentes.

Incluant leurs erreurs, leurs interprétations faussées ou leurs inventions.

Effondrement

Une étude parue en juillet 2024 dans la revue scientifique Nature appelait cela un «effondrement du modèle».

Littéralement, c’est le risque que les modèles d’IA générative ou «larges modèles de langage» deviennent de plus en plus stupides de génération en génération, à mesure qu’ils sont entraînés sur des contenus de plus en plus produits par d’autres IA, plutôt que par des humains.

«Nous démontrons que cela doit être pris au sérieux, si nous voulons poursuivre les bénéfices de l’entraînement [des IA génératives] à partir de données à grande échelle récoltées sur le web.»

Des réponses de plus en plus bizarres

L’avantage, lisait-on dans cette étude, c’est que dans ce scénario, la valeur des informations ou des contenus produits par des humains va augmenter.

Mais le désavantage, ce n’est pas juste que les IA donneront de plus en plus de fausses réponses. Dans le scénario esquissé par ces chercheurs britanniques et canadiens en génie informatique et en mathématiques, les réponses seront de plus en plus «étranges», confuses et dénuées de sens.

«Le message est que nous devons être très prudents quant à ce qui entre dans nos données d’entraînement», commentait alors le coauteur Zakhar Shumaylov, de l’Université de Cambridge. Sinon, «les choses tourneront toujours mal».

Comme pour le métal des bombes atomiques

Un an plus tard, le diagnostic n’a pas changé. Le journal britannique The Register faisait en juin dernier une comparaison avec les effets sur le métal des bombes atomiques.

Le métal produit après 1945 est contaminé par de minuscules traces de particules radioactives. Pas assez pour nuire à la santé de qui que ce soit, mais assez pour rendre ce métal inutilisable dans certaines applications scientifiques et médicales ultrasensibles.

Résultat, le métal produit avant 1945 a gagné une valeur économique. De la même façon, peut-être qu’un jour, le contenu d’Internet produit avant 2022 — avant ChatGPT — pourrait avoir une valeur économique supérieure.

Croissance des données

S’il y a bel et bien un seuil de risque, personne ne peut dire où il est.

Mais plusieurs chercheurs ont commencé à l’évoquer dès le moment où il est devenu clair que la croissance des données nécessaires pour entraîner ces «larges modèles de langage» était plus rapide que la croissance des données produites par les humains. De sorte que cette évolution dans l’entraînement des chatbots allait tôt ou tard frapper un mur.

La question s’est à nouveau posée lorsque les nouvelles versions de ces chatbots, à la fin de 2024, ont montré des résultats qui n’étaient pas à la hauteur des attentes.

Une piste de solution est mentionnée dans The Register par le chercheur en éthique et en mathématiques Maurice Chiodo, également de l’Université Cambridge: une règlementation gouvernementale qui imposerait une «étiquette» sur tout contenu produit par l’IA, de manière à permettre aux futures IA de les contourner.

Mais le chercheur reconnaît que l’industrie n’est pas particulièrement ouverte à toute forme de règlementation qui ralentirait sa croissance.

Auteurs

Pascal Lapointe

Rédacteur en chef de l'Agence Science-Presse, média indépendant, à but non lucratif, basé à Montréal. La seule agence de presse scientifique au Canada.

View all posts
Agence Science-Presse

Média à but non lucratif basé à Montréal. La seule agence de presse scientifique au Canada.

View all posts