Lors du colloque organisé par le Conseil Jeunesse de Montréal, ce mercredi, des spécialistes ont discuté à propos de l’Avis émis en août dernier sur l’utilisation des systèmes de décision automatisée à Montréal.
L’Avis interroge les enjeux éthiques liés spécifiquement à la surveillance automatisée. Sachons que les outils de surveillance fonctionnent au moyen de systèmes intelligents capables de prendre des décisions de manière autonome, sans l’intervention humaine.
LES SYSTÈMES DE DÉCISION AUTOMATISÉE (SDA)
On appelle ces systèmes des SDA. Ce sont des « systèmes composés de données et d’algorithmes dont la fonction est d’aider, d’assister ou de remplacer la prise de décision humaine. »
La police prédictive
La police prédictive peut utiliser ce genre de systèmes. À l’aide de caméras de surveillance, un excès de vitesse est repéré, le véhicule est identifié (grâce à sa plaque d’immatriculation) et le propriétaire du véhicule reçoit automatiquement une amende par la poste.
Pentcho Tchomakov, vice-président du CJM, nous explique comment cette forme de justice prédictive est en mesure d’aller beaucoup plus loin. Les technologies de surveillance ne se limitent pas à la lecture de plaques d’immatriculation !
Les systèmes se servent également de techniques de reconnaissance biométrique (comme la reconnaissance faciale), de capteurs sonores et même d’écoute électronique (de nos données cellulaires lors de connexion wifi). À travers ces processus, les données sont captées, échangées et utilisées à diverses fins, l’ensemble des systèmes étant connecté.
La police prédictive (ou prévision policière) développe de nouvelles aptitudes pour cibler des lieux où la criminalité est prévisible, viser des individus en particulier et pour émettre des contraventions, suite à la décision d’un algorithme. On peut examiner le cas de Predpol aux États-Unis, qui est utilisé en vue de prévenir la criminalité.
Les enjeux éthiques
Or, on voit immédiatement comment des problèmes de discrimination systémique pourraient advenir. Le manque de transparence des algorithmes et la présence de biais dans les systèmes soulèvent des enjeux éthiques majeurs. En effet, les SDA reproduisent nos biais, bien que ces biais ne soient pas tous malveillants.
Pentcho Tchomakov nous rappelle les 5 enjeux mis en lumière par l’Avis:
- Efficacité contestée, fiabilité fragile et risques d’erreur;
- Biais, discriminations et exclusions;
- Atteinte à la protection des renseignements personnels et à la vie privée;
- Atteinte aux libertés : de comportement, d’expression, d’association et de libre circulation;
- Risques liés aux partenariats avec les entreprises privées;
- Défaut de transparence.
« La transparence n’est plus suffisante, il faut se tourner vers l’explicabilité.»
Sur ce dernier enjeu, la discussion tourne autour d’une révision des notions. Il s’est avéré que la transparence n’est pas suffisante.
DE LA TRANSPARENCE À L’EXPLICABILITÉ DES ALGORITHMES
Sébastien Gambs, professeur au département d’informatique de l’Université de Montréal, nous explique comment il faut bien comprendre la notion d’explicabilité. On doit la différencier de la notion de transparence et même d’interprétabilité. Car, les nuances sont importantes et changent notre rapport aux technologies.
Les algorithmes sont interprétables dans la mesure où un expert peut les comprendre. Mais les utilisateurs sont en droit de comprendre pourquoi ils reçoivent une contravention par la poste, par exemple. Un système de décision automatisée est explicable lorsqu’il peut expliquer les décisions qu’il prend, non seulement à un spécialiste, mais à n’importe quel citoyen.
On doit également comprendre qu’il existe une différence entre l’explication de la décision faite par un modèle particulier (ou un algorithme) et celle faite par un système ou une application.
Les citadins d’une ville devraient pouvoir savoir comment et pourquoi un système a pris telle décision, plutôt qu’une autre. Or, ça n’est pas toujours le cas, « surtout en raison du phénomène de boîte noire attribuable aux algorithmes en apprentissage profond », précise Pentcho Tchomakov.
Les recours possibles
Marie Carpentier, conseillère juridique à la Commission des droits de la personne et des droits de la jeunesse, explique alors pourquoi la Charte québécoise des droits et libertés contient des règlements utiles pour la population. En effet, nous rappelle-t-elle, la Charte québécoise s’applique aux acteurs privés comme les développeurs et les utilisateurs de systèmes intelligents.
« Il faut voir, non plus l’effet recherché, mais l’effet effectif. »
Les termes qui définissent la vie privée englobent plusieurs aspects, comme les droits de la personne et peuvent être utilisés. Le problème majeur reste à déterminer qui est responsable du litige. C’est la raison pour laquelle on invoque une utilisation responsable des systèmes, « mais on ne sait pas encore comment cela se traduit devant les tribunaux », s’inquiète Marie Carpentier.
Le devoir professionnel des innovateurs
Alexei Nordell-Markovits, directeur IA chez Moov AI, observe que certaines entreprises sont habituées à travailler dans un environnement régulé, mais d’autres ne se posent pas de questions éthiques. Certaines collectent et échangent des données, sans même connaître leur usage ultime.
Les ingénieurs ont le devoir de distribuer la responsabilité à l’intérieur du groupe de travail technique. Cela aide grandement à la gouvernance interne des compagnies, mais toutes ne sont pas prêtes à le faire, précise Sébastien Gambs. C’est la raison pour laquelle, il est sage de conserver l’humain dans le processus.
Parmi les 15 recommandations émises par l’Avis, Pentcho Tchomakov met l’accent sur celui concernant la création d’un registre des algorithmes et des systèmes qui sont utilisés par les villes (comme le proposent les Pays-Bas). Sébastien Gambs ajoute qu’il serait primordial d’y trouver également les acteurs principaux.
Recommandation pour un registre urbain des algorithmes
Enfin, tous s’accordent pour dire qu’il serait souhaitable d’avoir un responsable des données au niveau de la ville de Montréal. Marie Carpentier souligne l’importance de poser des questions en amont, d’évaluer les résultats réels et surtout de ne pas prendre les citoyens pour des cobayes.
Bien qu’on parle aujourd’hui de machine unlearning, il est impossible de retourner en arrière ou même d’arrêter l’innovation en intelligence artificielle, nous expliquent les spécialistes. Il faut améliorer les processus de gouvernance et impliquer des non-experts dans le développement des systèmes.
Crédit photo: CJM
