La discrimination n'est pas seulement humaine : pourquoi blâmer les personnes pour des machines véhiculant des préjugés passe à côté du sujet

La pandémie nous laissera une nouvelle perception des avantages des technologies d'intelligence artificielle (IA) dans la prise de décision. Partout dans le monde, les gens reconnaissent que cette technologie a été utilisée au quotidien à leur insu. Mais ils reconnaissent également que sa mise en œuvre est devenue une nécessité d'intérêt public.
En conséquence, les gouvernements et les entreprises ont déployé différents types d'IA pour lutter contre la pandémie. Ils ont amélioré les diagnostics ou développé des traitements. Toutefois, qu'en est-il si une personne se voit interdire l'accès aux transports publics parce qu'un modèle prédictif d'IA la désigne comme une source potentielle d'infection ? Et si l'on refuse une assurance maladie ou un prêt hypothécaire à quelqu'un en raison d'une infection au Covid-19 ? Les résultats obtenus par une IA suffisent-ils à justifier une restriction de la liberté individuelle ?
D'un point de vue juridique, des concepts tels que « discrimination » ou « objectif » sont remis en question lorsque la technologie de l'IA intervient dans la prise de décision. Les décisions assistées par l'IA reposent sur des algorithmes ou des mathématiques. Cela leur confère, dans une certaine mesure, un degré d'objectivité. Cependant, leurs résultats n'en restent pas moins susceptibles d'être discriminatoires.

Qu'est-ce que la prise de décision par intelligence artificielle ?

L'intelligence artificielle est définie dans l'Oxford English Dictionary comme « le développement théorique de systèmes informatiques capables d'exécuter des tâches nécessitant normalement l'intelligence humaine, telles que la perception visuelle, la reconnaissance vocale, la prise de décision et la traduction entre les langues ».
L'IA utilise des algorithmes pour classer, analyser, créer des profils ou faire des prédictions afin d'accomplir des tâches qui requièrent normalement l'intelligence humaine. Cela comprend la sélection d'employés ou d'étudiants, la publicité, l'évaluation des risques d'assurance, l'analyse de recherche d'images et la prévention de la propagation d'une pandémie.
Les algorithmes, quant à eux, sont décrits par Frederik Zuiderveen Borgesius, professeur de droit à l'Institut des sciences de l'informatique et de l'information de l'Université Radboud aux Pays-Bas, comme « une série d'étapes documentées qui conduit à la transformation de certaines données ».. Il les qualifie de « description abstraite et formalisée d'une procédure informatique ». Il s'agit d'instructions qui guident les processus décisionnels, étape par étape, afin d'obtenir un certain résultat ou une solution.
L'IA et les algorithmes sont donc des concepts étroitement liés. Un algorithme constitue les instructions codées de manière interne qui permettent à une IA de fonctionner et de remplir son objectif.
Grâce à la facilité et à la précision avec lesquelles les algorithmes et l'IA peuvent organiser de grandes quantités de données, cette technologie pourrait améliorer le processus décisionnel de tout gouvernement, organisation ou individu. En réalité, toute décision sociale, économique ou politique impliquant une combinaison de systèmes humains et d'IA pourrait être considérée comme partiellement ou totalement automatique.

La véritable nature d'un algorithme

Néanmoins, ces algorithmes sont-ils totalement exempts de préjugés et de discrimination ? Pouvons-nous réellement nous fier aux algorithmes ou à l'IA pour prendre des décisions objectives ? Ne sont-ils pas simplement des machines qui traitent des données avec logique et mathématiques ?
La vérité est que de nombreux cas à travers le monde ont prouvé que les algorithmes et l'IA ne sont pas neutres, et ne sont exempts ni de préjugés ni de discrimination. Certains algorithmes ont identifié certaines personnes comme des « gorilles ». D'autres proposent des emplois mieux rémunérés aux hommes qu'aux femmes ou écartent même les CV de femmes lors de candidatures. Dans un autre cas encore, des personnes vivant dans des quartiers dangereux ont été empêchées de payer pour des services de livraison express. Ce ne sont là que quelques exemples de personnes traitées différemment simplement en raison de leur genre ou de leur phénotype.
Si la société souhaite s'appuyer sur cette technologie pour améliorer le processus de prise de décision, il est nécessaire de comprendre comment ces préjugés sont transmis aux algorithmes et à l'IA, ou adoptés par eux.

Discrimination algorithmique et liée à l'IA

Selon les termes de Ramón López de Mántaras, directeur de l'Instituto de Investigación en Inteligencia Artificial-CSIC à Barcelone : « Si les données dont vous apprenez sont biaisées (intentionnellement ou non), l'algorithme prendra des décisions biaisées ».
Les algorithmes sont simplement des instructions destinées à une procédure informatique. Les données reçues en entrée peuvent reproduire, voire amplifier, un préjugé ou un biais humain. C'est pourquoi l'IA pourrait perpétuer des processus d'analyse de données discriminatoires et favoriser des prédictions susceptibles d'aggraver divers stéréotypes existant dans la société.
Dans ce cas, le risque de discrimination lié à des processus décisionnels totalement ou partiellement automatiques peut-il être réduit ou atténué si la collecte des données est effectuée minutieusement et correctement ?
Des experts, comme la rédactrice de la MIT Technology Review Karen Hao, affirment que cela ne suffira pas. L'algorithme lui-même pourrait conduire à une décision empreinte de préjugés s'il est programmé pour analyser les données de manière « incorrecte » ou « biaisée ». Les « schémas historiques de discrimination », soutient Karen Hao, font l'objet de discussions parmi les concepteurs d'IA, car cette technologie pourrait apprendre à penser tout comme un être humain, y compris en imitant nos préjugés ou nos stéréotypes.
D'autre part, nous devrions considérer qu'aucun système d'IA ne possède actuellement d'intentionnalité propre. Ainsi, toute décision biaisée prise dans le cadre d'un processus décisionnel partiellement ou totalement automatique entraînant une discrimination est due à un biais dans les données saisies ou dans la programmation du traitement. Quoi qu'il en soit, l'intention ou la mauvaise foi doit être imputée au programmeur ou au propriétaire du système d'IA.
Dans cette optique, lors de l'évaluation d'un système d'IA ou d'un algorithme, ses décisions doivent être analysées sous un angle juridique afin d'identifier les cas de discrimination.

Comment nous protéger contre la discrimination guidée par l'IA ?

Comme nous le savons tous, la discrimination est interdite par de nombreux traités et constitutions à travers le monde. Mais cela suffira-t-il à protéger et à garantir l'égalité de traitement lorsque les décisions sont prises par un système d'IA ?
L'article 7 de la Déclaration universelle des droits de l'homme de l'ONU dispose :

« Tous sont égaux devant la loi et ont droit sans distinction à une égale protection de la loi. Tous ont droit à une protection égale contre toute discrimination qui violerait la présente Déclaration et contre toute incitation à une telle discrimination. »

En conséquence, toute personne a le droit de ne subir aucune violation de ses droits humains causée par un algorithme ou un système discriminatoire fondé sur l'IA. Toutefois, cela dépendra de l'efficacité des lois ou réglementations de chaque pays. Il existe de nombreuses approches pour parvenir à un processus décisionnel automatique ou augmenté par l'IA qui soit non discriminatoire.
D'une part, dans l'Union européenne, l'article 14 de la Convention européenne des droits de l'homme (CEDH) interdit la discrimination en énonçant :
« La jouissance des droits et libertés reconnus dans la présente Convention doit être assurée, sans distinction aucune, fondée notamment sur le sexe, la race, la couleur, la langue, la religion, les opinions politiques ou toutes autres opinions, l'origine nationale ou sociale, l'appartenance à une minorité nationale, la fortune, la naissance ou toute autre situation. »
En outre, la CEDH distingue la discrimination directe de la discrimination indirecte. La discrimination directe vise une personne en fonction d'une caractéristique particulière, telle qu'une interdiction ciblant les adeptes d'une certaine religion. Si la discrimination résulte d'une pratique en apparence neutre – comme un règlement interdisant tout couvre-chef qui, par défaut, empêche des personnes pratiquantes de postuler un emploi –, elle peut être considérée comme indirecte.
Les deux types de discrimination peuvent être causés par un algorithme ou un système fondé sur l'IA, en particulier la discrimination indirecte. Les algorithmes et les systèmes d'IA peuvent, par le biais de critères, de pratiques ou de sélections en apparence neutres, désavantager involontairement un certain groupe de personnes d'un phénotype, d'une culture ou d'un genre particulier. Pour un cas récent illustrant cela, voir l'arrêt de la Cour européenne des droits de l'homme, CourEDH, Biao c. Danemark (Grande Chambre), n° 38590/10, 24 mai 2016, paragraphes 91 et 92.
Par conséquent, les réglementations européennes actuelles exigent que les politiques générales, mesures ou pratiques reposant sur des algorithmes ou un système d'IA soient analysées et éventuellement approuvées avant leur utilisation, car il reste incertain si elles pourraient violer les interdictions de discrimination.

L'approche américaine

D'autre part, sachant que la réglementation européenne met l'accent non pas sur les intentions, mais sur le point de savoir si une décision discriminatoire est prise sans justification objective ou raisonnable, le problème de l'absence de réglementation des « boîtes noires » sera important. Les « boîtes noires » font référence à la programmation interne d'un système d'IA. Ces programmes sont souvent gardés secrets par les entreprises informatiques, mais devraient être transparents pour permettre à un juge d'analyser la manière dont des décisions potentiellement discriminatoires ont été prises.
Des situations similaires à celles de l'UE se présenteront dans des pays d'Amérique latine comme l'Argentine, la Bolivie, le Chili, l'Équateur, le Mexique, le Pérou et l'Uruguay. La plupart de leurs constitutions et réglementations exigent l'égalité des droits et interdisent la discrimination. Néanmoins, il est nécessaire de déterminer si un traitement inégal était « arbitraire » ou « déraisonnable » pour établir si une décision ou un acte est discriminatoire. Dès lors, dans cette région, la question de savoir comment rendre transparent le processus de boîte noire des systèmes d'IA pour justifier des actes ou des décisions assistés par un algorithme sera essentielle, tout comme la question de prévenir le traitement de données biaisées.
Enfin, une autre approche intéressante se trouve aux États-Unis, où la « discrimination » dans le Barron's Law Dictionary est définie comme :
« le traitement inégal de parties se trouvant dans une situation similaire. La loi fédérale interdit la discrimination fondée sur la race, le sexe, la nationalité, la religion et l'âge en matière d'emploi, de logement, d'éducation, de droit de vote et d'accès aux équipements publics. De plus, les États ou tout organisme gouvernemental ne peuvent s'engager dans des actions entraînant une discrimination fondée sur la race, le sexe, la nationalité, la religion ou l'âge ». »
Selon cette définition, l'accent serait mis sur le fait de s'engager éventuellement dans une action susceptible d'entraîner une discrimination. En ce sens, si un État ou un organisme gouvernemental s'engage dans une technologie discriminatoire basée sur l'IA ou l'utilise, cela serait illégal même si cela n'aboutit pas à un traitement inégal. En revanche, si une organisation privée utilise une technologie basée sur l'IA, l'action illégale ne se produira que si le résultat est une discrimination.

Conclusion

Les processus décisionnels partiellement ou totalement automatiques assistés par des algorithmes ou des systèmes d'IA pourraient causer, et même amplifier, les biais et la discrimination. Les réglementations à travers le monde seront mises à l'épreuve par l'utilisation croissante de ce type de technologie dans la prise de décision.
Des sujets tels que le traitement biaisé des données, la transparence des boîtes noires, les programmes ou politiques intentionnellement discriminatoires et les mesures de surveillance des algorithmes ou des technologies d'IA doivent être discutés et améliorés. Cela est particulièrement vrai dans la mesure où des situations d'urgence, telles qu'une pandémie mondiale, incitent à l'utilisation de technologies toujours plus intelligentes, précises et rapides.
Néanmoins, pour le moment, les organismes gouvernementaux et les entreprises qui utilisent cette technologie pour faciliter leurs processus décisionnels devront concevoir des mesures visant à garantir la transparence du fonctionnement de leurs algorithmes ou à justifier les résultats de manière raisonnable. Comme nous l'avons constaté, nos droits humains sont en jeu.
Natalia Jara est collaboratrice chez Philippi Prietocarrizosa Ferrero DI & Uria, Chili. 
Image : Geralt, sous licence Pixabay.