« ChatGPT m’a dit que… » : l’illusion de la discussion avec l’IA nous mène à l’erreur

Le point fort de ChatGPT, c’est de nous donner l’impression de discuter avec un autre être, qui penserait de la même manière que nous. Mais ces apparences nous induisent en erreur, car la conception de l’IA induit un comportement très différent du nôtre. Là où nous croyons lire un discours raisonné, il ne s’agit que d’une production très intuitive.

Certains risques liés à l’usage de l’IA générative, et en particulier d’agents conversationnels comme ChatGPT, commencent à être bien décrits et assimilés par les utilisateurs. C’est le cas pour ce qui concerne leurs coûts financier et environnemental déraisonnables, le besoin de protection des données (comme évoqué dans cette publication de la CNIL) ou le rôle croissant de ces outils comme porte d’entrée sur Internet.

Cependant, un autre phénomène, probablement plus diffus et plus insidieux, est encore mal décrit et pris en compte. De par sa fonction d’agent conversationnel, nous projetons de facto sur ChatGPT des fonctions cognitives similaires à celles qu’un interlocuteur humain pourrait développer. Se tourner vers les sciences cognitives va permettre de mieux comprendre leur nature, les interactions qui vont en résulter et les risques associés. Cette caractéristique primordiale des chatbots provoque en effet une mécompréhension de leur fonctionnement par l’utilisateur et donc un excès de confiance dans leurs résultats.

La cognition humaine peut suivre deux chemins

La cognition humaine se caractérise par une dualité bien documentée. D’une part, nous avons la capacité d’aborder un problème en considérant explicitement ses caractéristiques. Nous délibérons intérieurement et utilisons un raisonnement prospectif (« Que se passerait-il si… »). Ce traitement est lent et représente un coût cognitif important mais permet de s’adapter de façon flexible à une nouvelle situation et d’expliciter sa démarche. D’autre part,…