[ANALYSE] La scrutabilité d’une IA – D’où nous viennent les recommandations?

Pour éviter toute dérive qui mettrait en jeu nos droits humains, on demande plus de transparence dans les systèmes d’IA. On parle également dans ce cas d’explicabilité. C’est le fait pour les systèmes de pouvoir expliquer leur processus, se rendant ainsi plus robustes éthiquement. Plus robustes encore sont les algorithmes faisant preuve de scrutabilité. 

En parlant de scrutabilité, on pourrait se figurer que nous sommes espionnés jusqu’à être scrutés dans les moindre détails. Mais le terme renvoie plutôt au caractère vérifiable d’un énoncé. Un algorithme est dit scrutable s’il peut être scientifiquement vérifiable. 

Dans ce cas-ci c’est donc l’algorithme qui est scruté dans ses moindres détails plutôt que l’utilisateur. C’est une exigence éthique supplémentaire demandée à l’IA. Avec un algorithme scrutable, l’utilisateur a le contrôle du processus de modélisation. Comme exemple, il sait comment les données sont collectées, il comprend le type d’analyse effectuée lorsqu’il reçoit des recommandations d’achat, et ainsi de suite.

I. QU’EST-CE QUE LA SCRUTABILITÉ D’UNE IA?

a) Un système intelligent qui repose sur des lois

La scrutablité est une position théorique fondée sur des idéaux de base. La vérité d’une thèse repose alors sur le fait qu’elle puisse être vérifiée par des lois, comme les lois naturelles. On dit alors que la vérifiabilité de la thèse repose sur des principes de base. 

Cette approche suppose donc que toutes les affirmations vraies peuvent, en principe, être vérifiées et justifiées par des vérités de base. Transposée aux algorithmes, elle signifie qu’un algorithme scrutable est celui qui est vérifiable et justifié par des lois ou des règles. 

b) Un système intelligent dont les algorithmes sont déchiffrables

De plus, un algorithme est dit scrutable seulement si nous sommes en mesure de le déchiffrer. Or, nous ne pouvons pas déchiffrer tous les algorithmes. C’est le phénomène de la Boîte Noire. Certains algorithmes sont automatiquement générés, sans que nous puissions expliquer comment et sans connaître les rapprochements qui ont été faits. 

Dans l’apprentissage machine, il existe des algorithmes qui apprennent sans que nous sachions exactement comment ils le font. Nous ne connaissons pas toutes les connexions qui ont été faites.

c) Le cas des recommandations aux utilisateurs

Judy Kay, professeure en informatique à l’Université de Sydney, s’est intéressée au concept de scrutablité dans le cas de la modélisation des utilisateurs dans la conception des applications. Elle estime que nous devrions savoir pour quelles raisons nous venons de recevoir une recommandation de film, par exemple, en naviguant sur Facebook.

« Bien qu’efficaces, les systèmes de recommandation ont une scrutabilité et une transparence limitée. »

Les chercheurs Krisztian Balog, Filip Radlinski et Shushan Arakelyan.

Pour éviter erreurs et biais, elle affirme que les processus d’attribution de préférences, par exemple, doivent être scrutables. Elle définit alors la scrutabilité comme une contrainte de vérifiabilité de la modélisation des utilisateurs qui se fait dans le but de développer une personnalisation client.

Elle déclare que les modèles d’utilisateur scrutables sont ceux où l’utilisateur a le contrôle sur les informations entreposées à son sujet. L’utilisateur doit également connaître l’analyse et les hypothèses qui sont effectuées concernant ses informations personnelles.

II. LES AVANTAGES DE LA SCRUTABILITÉ

La rigueur explicative et démonstrative que demande la scrutabilité n’est pas issue d’une éthique conséquentialiste, ni déontologiste. Il n’est pas ici question d’analyser les conséquences néfastes d’un système d’intelligence artificielle. La scrutabilité est une approche scientifique Top-Down, allant des principes aux jugements de valeur.

Il s’agit plutôt de scruter les algorithmes, dans leurs moindres détails, pour vérifier si les décisions prisent par l’IA, comme celle de nous envoyer des recommandations, est belle et bien compréhensible et transparente.

« Là où la scrutabilité échoue, l’explication transparente Down-Up échoue. »

David J. Chalmers, Concepts and the Scrutability of Truth.

Dans les cas où il s’agit de recommandations, on peut se dire, qu’après tout, ce n’est pas si important de connaître la source de l’étiquetage qui a été fait, dans la mesure où les enjeux sont relativement faibles.

Or, si on transpose la scrutabilité dans les modèles d’apprentissage automatisé, non supervisés, de manière générale, on voit que cela touche à tous les domaines. Une application de reconnaissance faciale, par exemple, n’est pas toujours scrutable. Effectivement, nous ne savons pas toujours pourquoi certaines associations, de type hypothétique, sont admises et intégrées dans le système. Pourquoi tel visage a été identifié comme étant un Ouïghours plutôt qu’un autre, nous ne le savons pas exactement.

CONCLUSION

Les recherches en termes de scrutabilité des algorithmes sont récentes et nous pourrons en savoir davantage dans les mois à venir, mais nous pouvons, d’ores et déjà comprendre que cette approche est plus sévère et quelle bousculera les débats en cybersécurité.

La scrutabilité semble plutôt relever de l’éthique de la vertu que du conséquentialisme ou du déontologisme. C’est une position qui demande une analyse, en amont, de la provenance des algorithmes. Une exigence nouvelle de transparence au niveau de la modélisation des algorithmes, à suivre avec intérêt!

BIBLIOGRAPHIE

Balog, Krisztian; Radlinski, Filip, Arakelyan, Shushan; Transparent, Scrutable and Explainable User Models for Personalized Recommendation; International ACM SIGIR Conference on Research and Development in Information Retrieval, 2019.

Chalmers, David J.; Concepts and the Scrutability of Truth.

Chalmers, David J.; Constructing the World, Oxford University Press, 2012.

Chalmers, David J.; Face Up to the Problem of Consciousness.

Schroeter, Laura; Scrutability and Epistemic Updating: Comments on Chalmers’s Constructing the World, Oxford Academic, Analysis, Volume 74, Issue 4, 2014.