Ce sont des algorithmes discriminatoires qui sont à l’origine de la chute du gouvernement Néerlandais en janvier dernier. Dans un récent rapport, Amnistie internationale dénonce l’utilisation de ces « machines xénophobes » dans le secteur public.
Des critères « relevant du profilage racial ont été intégrés lors de l’élaboration du système algorithmique utilisé pour déterminer si des demandes d’allocations familiales devaient être considérées comme erronées et potentiellement frauduleuses », indique l’organisme.
En conséquence, des dizaines de milliers de parents et de personnes ayant la charge d’enfants, appartenant pour la plupart à des familles à faibles revenus, se sont vu accuser à tort de fraude par les autorités fiscales néerlandaises, d’après Amnistie internationale.
Les parents identifiés comme fraudeurs et ayant perçu plus de 10 000 € d’allocations par an ou ayant dû rembourser plus de 3 000 € au total étaient également signalés pour négligence grave, sans aucune vérification.
Une fois mise au grand jour, cette affaire a forcé la démission en bloc du gouvernement des Pays-Bas au début de 2021.
TENDANCE MONDIALE
Le profilage ethnique a, entre autres, été le résultat d’une discrimination envers les personnes possédant une double nationalité, croit l’organisme.
« Des milliers de vies ont été détruites par un dispositif indigne, employant un algorithme xénophobe fondé sur le profilage racial », a déclaré par voie de communiqué Merel Koning, conseillère principale sur les technologies et les droits humains à Amnistie internationale.
Selon l’enquête publiée par Amnistie, « la discrimination raciale et ethnique a joué un rôle central » dans l’élaboration du système algorithmique introduit en 2013 par l’administration fiscale néerlandaise pour détecter les fraudes d’allocations familiales.
« Il est extrêmement préoccupant de constater que les Pays-Bas ne sont pas une exception », poursuit Mme Koning.
« Partout dans le monde, les États s’empressent d’automatiser la prestation de services publics, mais ce sont les catégories les plus marginalisées de la société qui en subissent les plus lourdes conséquences » – Merel Koning, conseillère principale sur les technologies et les droits humains, Amnistie internationale
La mise en place de systèmes automatisés basés sur les algorithmes dans les services publics est une tendance mondiale qui arrive aussi au Québec.
S’il n’a pas mentionné spécifiquement l’allocation familiale, le gouvernement québécois a récemment confirmé à CScience IA vouloir aller de l’avant avec l’intégration de l’intelligence artificielle (IA) dans « tous les secteurs de l’administration publique ».
En effet, l’État a mis en place une Stratégie IA financée à la hauteur de 7,5 M$ pour les cinq prochaines années.
Grâce à cette technologie, le gouvernement espère pouvoir accélérer le traitement des dossiers et des demandes, offrir un meilleur soutien à la prise de décision des employés, ainsi qu’une amélioration de la qualité des processus et des services en détectant automatiquement les anomalies.
Crédit photo : Pexels / Anna Shvets
