L’intelligence artificielle continue d’inventer des informations

L’IA devient-elle plus humaine? Chose certaine, elle semble imiter les humains sur un aspect qui fait douter de son utilité: une confiance disproportionnée en ses capacités à distinguer le vrai du faux.

Depuis l’arrivée avec fracas, il y a deux ans et demi, des ChatGPT et autres «IA génératives», leur tendance à répondre par des faussetés, voire par des informations complètement inventées, a plusieurs fois été quantifiée.

Probabilités

Dans l’absolu, la cause de ces erreurs réside dans le fait que toutes ces applications «raisonnent» en termes de probabilités. Lorsqu’elles écrivent un texte ou créent une image, elles calculent quel est le mot ou le pixel dont la probabilité est la plus élevée.

Par conséquent, si leur base de données contient des informations erronées, il est inévitable qu’elles fournissent des informations erronées.

Mais cela n’explique pas que, dans bien des circonstances, elles inventent carrément une information qui ne s’y trouvait pas — un livre qu’un auteur n’a jamais écrit, un jugement qu’un tribunal n’a jamais rendu, etc. Qu’est-ce qui peut l’expliquer?

Biais de confirmation

Une équipe de cinq chercheurs en économie de trois universités ontariennes et une université australienne a eu l’idée, d’emprunter à la psychologie, des concepts qu’elle emploie lorsqu’il s’agit d’analyser comment des humains en sont arrivés à une décision erronée.

L’équipe s’est concentrée sur 18 biais cognitifs, dont le biais de confirmation — celui qui nous fait privilégier l’information qui confirme nos croyances — mais aussi l’excès de confiance, l’aversion de l’ambiguïté ou l’erreur du joueur — lorsque celui-ci surestime ses chances de gains.

Ils ont exposé aux versions 3.5 et 4.0 de ChatGPT différents problèmes, dont certains auxquels serait confronté un gestionnaire d’entreprise.

Leur conclusion, parue en avril dans la revue Manufacturing & Services Operations Management: l’IA prend parfois des décisions de façon aussi irrationnelle que nous.

L’IA devrait se limiter aux maths

Ce n’est pas une surprise, au regard des études des deux dernières années. Mais en s’adressant au monde des affaires, leur analyse contient une leçon, résument-ils dans le communiqué.

Les gestionnaires qui décideront d’utiliser ces outils seraient bien avisés de se limiter aux «problèmes qui ont une solution claire», reposant sur les mathématiques. En revanche, «si vous les utilisez pour des décisions subjectives ou basées sur des préférences, soyez prudents».

C’est peut-être dans ce contexte que, dans leur analyse, l’IA a évité certains biais cognitifs davantage que d’autres. Par exemple, l’erreur du taux de base, appelé aussi oubli de la taille de l’échantillon — lorsque nous oublions des faits statistiques, et leur préférons des anecdotes — semble être un piège dans lequel l’application tombe moins souvent.

Ce qui tendrait à confirmer qu’on puisse davantage lui faire confiance lorsque des maths sont en jeu.

Programmeurs biaisés

Plus important pour comprendre comment l’IA fonctionne, il y a ce constat selon lequel les réponses de ChatGPT ne changent pas, peu importe que la question soit liée à un problème psychologique abstrait ou à un problème de gestion d’entreprises concret.

Cela tendrait à démontrer que les «biais» ne sont pas liés au fait que l’IA aurait mémorisé ou non une série d’actions qu’un gestionnaire doit prendre.

Ils seraient partie intégrante de la façon dont l’IA «raisonne». Ou à tout le moins, de la façon dont les humains, avec leurs propres biais, ont programmé et entraîné l’IA.