Les données utilisées pour entraîner les IA reflètent les stéréotypes et les préjugés de la société, par exemple envers des groupes sous-représentés. Pour conserver la confidentialité de données sensibles, comme les données de santé, tout en garantissant qu’elles ne sont pas biaisées, il faut adapter les méthodes d’apprentissage.
Plusieurs scandales ont éclaté ces dernières années, mettant en cause des systèmes d’aide à la décision basés sur l’intelligence artificielle (IA) qui produisent des résultats racistes ou sexistes.
C’était le cas, par exemple, de l’outil de recrutement d’Amazon qui exhibait des biais à l’encontre des femmes, ou encore du système guidant les soins hospitaliers dans un hôpital américain qui privilégiait systématiquement les patient de couleur blanche par rapport aux patients noirs. En réponse au problème de biais dans l’IA et les algorithmes d’apprentissage automatique, des législations ont été proposées, telles que le AI Act dans l’Union européenne, ou le National AI Initiative Act aux États-Unis.
Un argument largement repris concernant la présence de biais dans l’IA et les modèles d’apprentissage automatique est que ces derniers ne font que refléter une vérité de terrain : les biais sont présents dans les données réelles. Par exemple, des données de patients ayant une maladie touchant spécifiquement les hommes résultent en une IA biaisée envers les femmes, sans que cette IA ne soit pour autant incorrecte.
Si cet argument est valide dans certains cas, il existe de nombreux cas où les données ont été collectées de manière incomplète et ne reflètent pas la diversité de la réalité terrain, ou encore des données qui incluent des cas statistiquement rares et qui vont être sous-représentés, voire non représentés dans les modèles d’apprentissage automatique. C’est le cas, par exemple, de l’outil de recrutement d’Amazon qui…
Auteur: Sara Bouchenak, Professeure d’Informatique – INSA Lyon, INSA Lyon – Université de Lyon
