La notion de justice est ancienne; on peut remonter jusqu’à l’époque de Platon et de son maître Socrate pour trouver les premières tentatives de définir ce qui est juste. Aujourd’hui, cet enjeu ne concerne plus seulement les philosophes, mais aussi des spécialistes en informatique, qui tentent de déterminer ce qui fait qu’un algorithme est équitable, non-discriminatoire ou exempt de biais. Une ingénieure en science informatique nous offre une incursion dans ce nouveau métier.
Golnoosh Farnadi a publié une série d’articles académiques qui peuvent paraître ésotériques. On le constate lorsqu’on essaie de pénétrer des textes tels que « Apprendre les classificateurs de Bayes naïfs équitables en découvrant et en éliminant les modèles de discrimination » ou « Champs aléatoires de Markov à perte de charnière levée » (NDLR : traduit de l’anglais).
Cependant, au-delà de l’aspect technique de sa recherche, la professeure assistante de HEC Montréal et de Mila cherche à répondre à une question relativement simple : quelles sont les spécificités d’un modèle mathématique qui font en sorte que celui-ci soit juste ou non.
En effet, d’entrée de jeu, celle-ci affirme s’intéresser au problème de l’équité dans l’apprentissage automatique
Cet enjeu relativement facile à comprendre a su créer un engouement dans le milieu de la recherche. La chaire Canada-CIFAR d’une valeur d’un million de dollars sur cinq ans récemment accordée à Mme Farnadi démontre bien cet intérêt.
L’IA PEUT-ELLE ÊTRE INJUSTE ?
À priori, il est difficile d’imaginer qu’un algorithme d’intelligence artificielle (IA) puisse offrir un jugement ou une analyse injuste.
En effet, comment une suite de règles opératoires d’un calcul mathématique peuvent-elles faire preuve de préjudice ?
« Les biais peuvent provenir de plusieurs sources, notamment des données qui sont collectées, mais aussi de la façon dont sont construits les algorithmes. Les modèles peuvent amplifier les biais » – Golnoosh Farnadi, professeure assistante à HEC Montréal
Celle-ci prend l’exemple d’un modèle statistique de décision basé sur deux groupes, nommés « A » et « B ». « Si votre algorithme est entraîné avec des données qui proviennent du groupe « A » à 90 % et seulement 10 % du groupe « B », même si cela est représentatif de la réalité que vous voulez illustrer, on risque d’avoir un biais », explique la chercheuse.
Dans ce cas, on voit donc que c’est la façon dont est construite l’algorithme, et non pas la qualité des données sur lequel il est basé, qui cause un déséquilibre qui pourrait résulter en une injustice, parce que l’algorithme a reçu un meilleur entraînement avec un des deux groupes.
ALGORITHMES PARTOUT, JUSTICE NULLE-PART
Dans un contexte ou les outils d’IA s’immiscent dans toutes les sphères de la société, le problème des algorithmes biaisés devient dangereux.
Mme Farnadi prend en exemple le système de justice.
« Aux États-Unis, certaines cours de justice utilisent un algorithme nommé « COMPAS » pour déterminer le risque de récidive d’un criminel. Cet outil d’aide à la décision pour les juristes leur donne un score de potentiel de récidive qu’ils utilisent par la suite dans l’attribution de sentences. On peut voir comment dans ce cas-ci, l’IA peut avoir un impact direct sur la vie des individus », insiste-t-elle.
En effet, COMPAS est un outil controversé, d’une part parce que son fonctionnement est partiellement inconnu pour des raisons de secret industriel, mais aussi parce que l’on suspecte que ses données sont biaisées au détriment des minorités ethniques et des personnes à faible revenu.
Un exemple plus commun : vous voulez faire une demande de prêt à votre banque. Le lois requièrent que le processus d’approbation soit non-discriminatoire.
Cependant, les algorithmes qui sont parfois utilisés pour aider les banquiers à prendre leur décision doivent être entraînés à partir de certaines données.
« Si celles-ci ne représentent pas équitablement l’ensemble de la population, certaines tranches d’entre elles pourraient avoir davantage de difficultés à obtenir un prêt », affirme Mme Farnadi.
Ce genre d’enjeu a récemment défrayé les manchettes du monde entier. La chercheuse en éthique Timnit Gebru a perdu son emploi chez Google à cause d’une dispute avec ses supérieurs au sujet d’un article scientifique sur les très grands modèles d’apprentissage de langage.
Ces algorithmes, essentiels au modèle d’affaire du géant numérique, posent selon la scientifique plusieurs problèmes, incluant une impénétrabilité qui pourrait mener à des biais dangereux et inconnus.
Mme Gebru s’est aussi intéressée à la reconnaissance faciale, démontrant que si certains algorithmes sont très bons pour différencier les visages d’hommes blancs, leur efficacité s’amenuise lorsque vient le temps de distinguer d’autres visages, particulièrement ceux des femmes noires.
« Ces d’exemples prouvent qu’il est essentiel d’encadrer les entreprises qui créent ces algorithmes, car elles ne le feront pas de leur propre chef. Lorsque les Google de ce monde doivent choisir entre la justice et leurs profits, les derniers l’emportent toujours » – Golnoosh Farnadi
Pourra-t-on rendre les algorithmes plus juste dans un monde dominé par les grandes entreprises du web ?
« Si je n’y croyais pas, je ne ferais pas ce métier. La tâche sera ardue, mais je suis convaincu que l’on peut créer des outils numériques qui sont automatisés et justes », conclut-elle.
Crédit photo: Ankur Teredesai/Twitter
