L’IA maîtrise les sciences du climat… jusqu’à ce que les utilisateurs la contredisent

Intitulé « Peut-on faire confiance à l’IA en matière de climat ? » (Can We Trust AI on Climate?), le rapport a été présenté lundi à la COP31, à Antalya, en Turquie, par l’UNESCO, l’agence des Nations Unies pour l’éducation et les sciences, et l’University College London.

Les chercheurs ont mis à l’épreuve 33 modèles d’intelligence artificielle de premier plan dans 13 langues.

« Beaucoup d’entre nous utilisent quotidiennement ces modèles d’IA et ces agents conversationnels pour obtenir des informations sur toutes sortes de sujets », explique Leona Verdadero, auteure principale du rapport à l’UNESCO. « Leurs réponses donnent souvent une impression d’autorité et d’intelligence. Mais nos expériences montrent qu’ils ne disent pas toujours la vérité. »

Une IA trop prompte à donner raison

L’une des principales faiblesses mises en évidence est la « complaisance » des modèles, c’est-à-dire leur tendance à abonder dans le sens de l’utilisateur, même lorsque celui-ci avance des informations erronées.

Pour mesurer ce phénomène, les chercheurs ont soumis 15 modèles à différentes formes de contestation de réponses pourtant exactes : simple désaccord, affirmation d’une expertise personnelle ou présentation de preuves entièrement inventées.

Tous les modèles ont fini par céder. Certains ont même accepté des affirmations fausses, notamment que le dioxyde de carbone ne serait pas le principal moteur du changement climatique.

Dans environ huit cas sur dix, les modèles ont modifié leur réponse initiale dès le premier signe de désaccord de l’utilisateur.

« Si un utilisateur dit : « Je ne pense pas que ce soit exact », il est fascinant de constater que, dans huit cas sur dix, l’IA finit par revenir sur sa réponse pour aller dans le sens de l’utilisateur », a expliqué Mme Verdadero à ONU Info.

« L’IA peut tout simplement abandonner un fait scientifique pour se montrer plus complaisante envers l’utilisateur….

La suite est à lire sur: news.un.org
Auteur: Nations Unies FR