Cet article est publié en collaboration avec Binaire, le blog pour comprendre les enjeux du numérique.
Un système d’IA doit toujours être supervisé par un humain, mais encore faut-il que cette personne soit en mesure de distinguer quand elle comprend ce que propose la machine et quand elle peut être influencée.
Les cadres contemporains de gouvernance de l’intelligence artificielle (IA) reposent sur un présupposé rarement rendu explicite : lorsqu’un opérateur humain reçoit l’output d’un système d’IA, il doit être en mesure de l’évaluer de manière significative. Les dispositions de l’AI Act européen relatives aux systèmes à haut risque exigent transparence, explicabilité et supervision humaine.
Sont explicitement visés les systèmes utilisés dans le recrutement et l’évaluation des travailleurs, l’accès aux prestations sociales, les décisions d’octroi de crédit, le contrôle aux frontières, l’administration de la justice, et les soins de santé critiques.
Le plan d’action des États-Unis sur l’IA appelle au maintien d’un contrôle humain significatif sur les décisions IA à conséquences importantes. Les principes de l’OCDE sur l’IA inscrivent le centrage sur l’humain au cœur de ses engagements.
Ces engagements sont nécessaires mais insuffisants. Ils portent sur ce que les systèmes d’IA doivent fournir aux opérateurs humains et laissent entièrement sans réponse la question de ce que ces derniers doivent être capables de faire pour agir sur ce qu’ils reçoivent. Cette lacune n’est pas accidentelle. C’est un angle mort structurel dans l’architecture actuelle de la gouvernance de l’IA.
Le modèle implicite du superviseur humain dans la plupart des textes réglementaires est celui d’un professionnel compétent et attentif qui, face à des outputs précis et lisibles, formule des jugements éclairés. C’est une hypothèse plausible dans des environnements stables, à faibles…
Auteur: Ikram Chraibi Kaadoud, Chercheuse XAI & sciences cognitives, Inria
