Algocratie : les algorithmes nuiront-ils à la démocratie?

La prise de décisions automatisées peut faciliter la vie au travail. Il suffit de penser aux modérateurs web qui n’ont plus à lire tous les commentaires publiés sur leur plateforme pour détecter ceux qui contiennent des mots orduriers ou diffamatoires, ou aux employés en entrepôt qui peuvent laisser aux machines le soin d’organiser la distribution des biens. Pourquoi ne pas profiter de ce genre d’algorithmes pour rendre plus efficace le travail des fonctionnaires? Automatiser la prise de décision au sein d’un gouvernement mettrait-il en jeu sa légitimité démocratique?

Le terme algocratie, a été cerné par John Danaher, maître de conférences à l’École de droit de la University Road, à Galway en Irlande.

Celui-ci le définit comme un type particulier de système de gouvernance, organisé et structuré sur la base d’algorithmes programmés par ordinateur.

« Si la bureaucratie est une forme de gouvernance dans laquelle les fonctionnaires établissent les lois et les règles qui structurent la façon dont les humains agissent, dans une algocratie, ce seraient les algorithmes qui auraient ce pouvoir », explique Aude Marie Marcoux, doctorante et chargée de cours à l’École des sciences de la gestion (ESG) de l’UQAM.

S’il soutient que le terme est neutre et qu’il ne doit pas être compris comme ayant une connotation péjorative sous-entendue, comme c’est le cas lorsque nous employons le mot technocratie par exemple, M. Danaher est toutefois pessimiste quant à l’avenir d’un État qui serait gouverné par la prise de décision automatique.

Dans La menace de l’algocratie : réalité, résistance et accommodement (traduit de l’anglais :The Threat of Algocracy:Reality, Resistance and Accommodation) le chercheur affirme non seulement que d’intégrer l’intelligence artificielle (IA) au sein du fonctionnement d’un gouvernement nuit à sa légitimité démocratique, mais aussi qu’il est trop tard pour résister à cette tendance.

« La notion de la légitimité des décisions prises par les algorithmes est contrecarrée par l’obscurité que l’on observe chez ceux-ci », indique Mme Marcoux.

En effet, le problème de la boîte noire vient une fois de plus troubler les cartes dans l’application de l’IA.

Ce phénomène se produit lorsque les utilisateurs, et parfois même les créateurs d’un algorithme, ne parviennent plus à expliquer le processus qui a mené à la prise d’une décision de la part d’une machine. Si le fonctionnement d’un algorithme est trop complexe pour être compris par l’entendement humain, ou si les individus n’ont pas les connaissances nécessaires pour retracer ledit processus, on a affaire à une boîte noire.

« Si nous ne sommes plus en mesure d’expliquer les décisions prises au sein d’un ministère, comment pouvons-nous dire qu’elles sont légitimes ? » – Aude Marie Marcoux, doctorante et chargée de cours à l’École des sciences de la gestion (ESG) de l’UQAM

DES APPLICATIONS QUI INQUIÈTENT

Récemment, des cas de gouvernance par les algorithmes ont fait sourciller les éthiciens, ainsi que les experts juridiques, politiques autour du monde.

Un des plus notoires est celui de COMPAS (Correctional Offender Management Profiling for Alternative Sanctions), un outil de gestion de cas et d’aide à la décision utilisé par les tribunaux américains pour évaluer la probabilité de récidive d’un accusé.

Celui-ci est fortement critiqué pour son manque de transparence causé par la protection de ses algorithmes découlant du secret commercial, ainsi que pour ses biais négatifs envers les afro-américains et positifs envers les blancs.

Un autre engin, nommé PredPol a été utilisé dans les villes de Los Angeles et de Kent aux États-Unis, afin de prédire et prévenir les actes criminels.

En faisant appel à l’analyse prédictive, le logiciel est supposément capable d’identifier les secteurs à risque d’un centre urbain, assurant une répartition plus efficace des policiers sur le territoire.

« Le problème, c’est qu’en envoyant plus de policiers dans les secteurs où l’incidence de crime est plus importante, on augmente le nombre de crimes rapportés. Cela est ensuite pris en compte par l’algorithme, qui va encore une fois suggérer de déployer davantage de policiers. C’est un cercle vicieux », note Mme Marcoux.

UN PHÉNOMÈNE QUI ARRIVE À GRANDS PAS AU CANADA

Il ne faut pas croire que le gouvernement canadien échappe à cette tendance de l’implantation des algorithmes dans ses processus de décision.

« Grâce à l’application de technologies comme l’apprentissage automatique pour améliorer la prestation des programmes d’avantages sociaux, l’analyse prédictive des données pour améliorer la prise de décisions et le traitement du langage naturel pour appuyer les services de traduction, nous pouvons réduire les arriérés et les délais de traitement tout en offrant aux Canadiens et aux entreprises un service pratique et personnalisé sans précédent », anticipait déjà en 2018 l’ancien dirigeant principal de l’information du gouvernement du Canada, Alex Benay.

Depuis, le gouvernement a adopté des outils pour assurer que l’arrivée de l’IA au sein de ses services ne chamboule pas tout.

La Directive sur la prise de décisions automatisées a été mise en vigueur le 1er avril 2019 et doit être respectée par les divers organes de l’État depuis le 1er avril 2020.

C’est pour assurer que « la transparence, la responsabilisation, la légalité et l’équité procédurale » soient respectées qu’on l’a adoptée.

À son instar, le formulaire d’évaluation de l’incidence d’un projet en IA créé par le gouvernement permet prendre en compte les risques liés à un système de prise de décisions automatisé avant son implantation.

Ainsi, faut-il accepter la venue de l’IA au sein de nos gouvernements ou s’y opposer à tout prix ?

« On ne peut plus se débarrasser de l’IA ; la meilleure solution est d’intégrer l’humain dans toutes les étapes de l’utilisation de cette technologie » – Aude Marie Marcoux

Selon la chercheuse, la meilleure solution est la mise en place d’outils permettant la reddition de compte dès la conception d’un système de prise de décision.

Crédit photo: Pixabay