L’Union européenne (UE) est fondée sur les valeurs de respect de la dignité humaine, de non-discrimination et d’égalité entre les femmes et les hommes. Si le droit communautaire tend à prohiber les discriminations contre les individus, ou groupes d’individus, fondées sur une caractéristique particulière telle que le sexe, les pratiques de certains systèmes d’intelligence artificielle (IA) ont mis en lumière de nouvelles formes d’inégalité entre les femmes et les hommes, plus difficiles à appréhender.
Dans la mesure où la question des biais de l’IA renouvelle les termes dans lesquels le principe d’égalité doit être formulé (1), il est donc urgent, pour l’UE, de se doter de nouveaux outils pour lutter contre ces nouvelles formes de discrimination (2).
Les biais de l’IA
Les groupes vulnérables englobent notamment les femmes et les groupes ethniques, le sexe/genre et la race/l’origine ethnique étant des caractéristiques protégées par le droit de l’UE. Au regard de ces deux variables sensibles, les femmes noires sont particulièrement exposées aux erreurs et biais de l’IA, comme l’ont montré les mauvaises performances des systèmes de reconnaissance faciale.
En effet, les algorithmes d’apprentissage machine, de plus en plus utilisés dans la prise de décisions, se basent sur des données souvent lacunaires ou biaisées. Des problèmes peuvent survenir au cours du processus de collecte de données ou de développement des modèles, lesquels peuvent entraîner des préjudices.
Par exemple, en médecine, la construction d’un modèle permettant de détecter un risque implique d’entraîner ledit modèle sur les dossiers de patients. Or, il se peut que le taux de faux négatifs (patients malades mais non diagnostiqués comme tels), donc non detectés par l’IA, soit supérieur chez les femmes que chez les hommes. Si le modèle n’a pas été en mesure d’apprendre efficacement le risque chez les femmes, c’est en raison d’un manque d’exemples. Il faut en conséquence rechercher des données supplémentaires sur les femmes et réentraîner l’algorithme.
Les biais peuvent aussi avoir pour origine l’évaluation humaine, comme en matière de recrutement : un algorithme prédisant l’aptitude des candidats en évaluant les CV se fonde sur des notes antérieurement attribuées par des humains qui peuvent avoir des comportements discriminatoires.
Une réglementation insuffisante
En Europe, l’interdiction des discriminations – directes (sexe, origine, etc.) et indirectes (pratique prétendument neutre qui conduit, en pratique, à traiter différemment les personnes possédant une caractéristique protégée) – trouve sa source dans les droits nationaux et supranationaux (Conseil de l’Europe et UE).
Comme la plupart des biais générés par l’IA n’impliquent pas une intention discriminatoire mais sont involontaires ou accidentels, il est plus aisé de mobiliser le concept de discrimination indirecte. Pour autant, malgré sa souplesse, cette dernière notion présente des limites en matière de décisions algorithmiques.
[Près de 80 000 lecteurs font confiance à la newsletter de The Conversation pour mieux comprendre les grands enjeux du monde. Abonnez-vous aujourd’hui]
En effet, ladite interdiction repose sur un standard général qui s’avère difficile à mettre en œuvre en pratique car il faut pouvoir démontrer qu’une règle, neutre en apparence, affecte de façon disproportionnée un groupe protégé.
Une présomption de discrimination peut être établie grâce à des preuves statistiques. Pour autant, en matière d’IA, la principale difficulté réside dans le fait que les discriminations sont difficiles à identifier dans la mesure où les motifs des décisions défavorables (par exemple, un crédit refusé à une femme) n’apparaissent pas au grand jour. En l’absence de transparence, la preuve statistique n’est donc pas aisée à établir.
Débiaiser les algorithmes
En avril 2019, le groupe d’experts constitué par la Commission européenne affirmait, dans ses « lignes directrices en matière d’éthique pour une IA digne de confiance », que le principe d’égalité devait aller « au-delà de la non-discrimination » qui tolère le fait d’établir des distinctions entre des situations différentes sur la base de justifications objectives.
Dans sa proposition de règlement sur l’IA (AI…
La suite est à lire sur: theconversation.com
Auteur: Anaëlle Martin, Docteur en droit public, Université de Strasbourg
