Biais et discriminations : une formation à la rescousse

Depuis le 30 mars, l’Institut de valorisation des données (IVADO) propose un MOOC pour sensibiliser aux biais et discriminations dans l’IA.

« L’IA et l’apprentissage machine font désormais partie de notre société moderne. Malheureusement, en raison du déploiement généralisé de l’IA dans divers systèmes de prises de décision, nous avons de nombreux exemples de biais et de discriminations algorithmiques », déclare Golnoosh Farnadi, chercheuse chez IVADO, à l’origine de ce projet de formation. 

Des exemples qui apparaissent dans divers aspects de notre vie quotidienne sans même que nous les remarquions : banque, police, application de la loi, éducation ou encore même dans le domaine de la santé. « Vous avez peut-être utilisé un service de votre banque et obtenu une cote de crédit biaisée. Vous pourriez recevoir une publicité sexiste ou raciste sur le Web. Votre enfant pourrait être rejeté pour entrer dans une école ou une université en raison de biais dans le suivi des candidatures. Votre maladie peut ne pas être diagnostiquée en raison de la discrimination algorithmique. Même recevoir des soins de santé appropriés peut être biaisé pour certains groupes de population », précise-t-elle. 

DES ALGORITHMES DISCRIMINANTS

Parmi les exemples de discrimination les plus marquants, Golnoosh Farnadi cite le logiciel Compas. Un logiciel d’évaluation des risques. Censé prédire la récidive, il est largement utilisé dans les salles d’audience aux États-Unis. Le logiciel s’est révélé biaisé contre les Noirs. « Il attribue un score de risque plus élevé aux Noirs par rapport aux Blancs et, par conséquent, les Noirs peuvent être inutilement condamnés à la prison ou rester en prison plus longtemps qu’ils ne le devraient ».

Un rapport sur Compas a d’ailleurs été publié par Propublica en 2016.

DES ALGORITHMES SEXISTES

Par ailleurs, un outil de recrutement d’Amazon s’est avéré biaisé contre les femmes. Pour les emplois hautement rémunérés et les emplois techniques, ce service préférait les hommes aux femmes. Ce dernier a depuis été arrêté par Amazon en raison de son comportement sexiste.

À travers cette formation, Golnoosh Farnadi veut sensibiliser et conscientiser les esprits de ces préjugés dans les systèmes d’IA : « J’éduque les étudiants dans mes cours. Je leur donne des tutoriels et des conférences pour m’assurer que chaque jour, les gens accordent plus d’attention lorsqu’ils conçoivent, déploient ou utilisent des systèmes d’IA ».

VERS UNE RÈGLEMENTATION CONTRE LA DISCRIMINATION ALGORITHMIQUE ?

« Je crois qu’en augmentant la sensibilisation, de plus en plus de personnes s’intéresseront à travailler sur ces problèmes. Nous pourrons atteindre plus tôt des systèmes d’IA fiables. J’espère que cela va amener les décideurs politiques à porter plus d’attention à ce sujet et mettre en place des réglementations contre la discrimination algorithmique », déclare la chercheuse. 

À ce jour, près de 1500 personnes, provenant de 90 pays différents, se sont déjà inscrites à la formation en ligne d’IVADO sur la plateforme edX. Parmi ces participants principalement canadiens et américains : des étudiants, des chefs d’entreprise, des professeurs ou encore des chercheurs, dont plus de 60% sont des hommes.