Ce qui inquiète du « chatbot » My AI de Snapchat

Ce qui inquiète du « chatbot » My AI de Snapchat

Lancé en février dernier, My AI est un outil d’intelligence artificielle (IA) « sympathique, créatif et engageant », disponible sur le réseau social Snapchat. L’application Snapchat étant particulièrement populaire auprès des jeunes, l’ajout d’une intelligence artificielle générative (IAG) inquiète de nombreux parents, qui remettent en question la pertinence de cette nouvelle fonctionnalité.

À sa sortie en février, My AI était réservé exclusivement aux membres de Snapchat+, requérant un abonnement payant. Depuis le mois d’avril, l’outil d’IAG est disponible pour tous les utilisateurs de Snapchat, un réseau social consulté par près de 750 millions de personnes mensuellement.

My AI fonctionne grâce la technologie d’OpenAI, ChatGPT. Le dialogueur (chatbot) peut « aider (l’utilisateur) à planifier une randonnée pour un long week-end (et) vous suggérer quoi cuisiner pour le dîner », selon l’application.

Or, depuis son implantation, le nouvel outil fait l’objet de nombreuses critiques. Des utilisateurs rapportent ainsi avoir eu des conversations douteuses avec My AI, où ce dernier émet l’idée que « l’âge n’est qu’un nombre », lorsque questionné sur la validité d’une relation entre une adolescente et une personne âgée de 30 ans, ou encore, nie connaître la location de l’utilisateur alors qu’il l’a devinée quelques textos plus tôt.

CScience fait le test

Mais l’une des plus grandes critiques de My AI est liée à l’impossibilité de supprimer cette fonction pour les utilisateurs non payants. CScience a demandé directement à l’outil ce qui justifiait ce choix. « My AI est une fonctionnalité intégrée de Snapchat, et elle est conçue pour fournir des conversations utiles et amusantes avec les utilisateurs. Elle n’est pas destinée à être supprimée comme un ami ordinaire », a répondu l’intelligence artificielle.

Durant les quelques échanges menés avec cette IAG, My AI semble encourager une certaine forme de moralité. Il refuse d’écrire à la place de l’utilisateur sa supposée dissertation scolaire, donne des pistes de réflexion pour rendre l’IAG plus éthique, et invite à se conformer à la loi et à considérer l’importance de l’interaction humaine, rappelant au passage que les contacts avec lui ne sont pas un substitut aux connexions humaines.

« C’est un système entrainé sur un corpus qui comprend inévitablement des biais, et ce système peut régénérer, rediffuser et reproduire des inégalités contenues dans le corpus. »

– Frédérick Bruneault, chercheur principal au Laboratoire d’éthique du numérique et de l’intelligence artificielle

Cependant, l’outil lui-même reconnaît que ses réponses peuvent refléter les biais de ses programmeurs (notamment en lien avec la politique, la religion et des enjeux sociaux).

« C’est un système entrainé sur un corpus qui comprend inévitablement des biais, et ce système peut régénérer, rediffuser et reproduire des inégalités contenues dans le corpus », expliquait Frédérick Bruneault, chercheur principal au Laboratoire d’éthique du numérique et de l’IA, lors des échanges de la table ronde L’esprit critique à l’heure de l’intelligence artificielle, organisée le 23 mai dernier par le Centre québécois d’éducation aux médias et à l’information (CQÉMI).

My AI peut aussi manquer de cohérence (et d’exactitude) dans ses messages. À plusieurs reprises, il vante les mérites de Snapchat+, pour ensuite dire « qu’il n’existe pas de Snapchat+, (qu’il a) fait une erreur » et que « Snapchat+ ne fait pas partie de l’application (et) n’est pas affilié à Snapchat ».

https://www.cscience.ca/2023/01/18/entrevue-avec-chatgpt-je-suis-concu-pour-aider-les-gens-a-accomplir-des-taches-de-maniere-ethique/

My AI : un nouvel ami ?

Même s’il se veut « amical », My AI demeure un logiciel. Pourtant, s’en souvenir peut parfois être plus complexe qu’en apparence : « On sait qu’il n’y a personne, que c’est une machine, mais puisque le but de ces machines est d’imiter une interaction avec un être humain, c’est très difficile de ne pas interagir (avec celles-ci et de) réellement comprendre qu’il s’agit d’une machine prédictive », note M. Bruneault.

On appelle cette tendance à assumer que des technologies ont des attributs humains, « l’effet Eliza ». Durant le panel de mardi dernier, la conseillère pédagogique au service national du RÉCIT Annie Turbide l’a défini comme étant « l’effet d’attribuer une personnalité à une machine (ou encore) d’avoir envie de lui dire il ou elle ».

Une étude du Journal for Cultural Research a soulevé que cet effet comporte plusieurs dangers, dont celui de « la représentation erronée des capacités technologiques et la perpétuation des stéréotypes de genre (…) et nuit à la possibilité même de critique par rapport aux machines artificiellement intelligentes ». On y rapporte aussi que l’effet Eliza est en hausse au sein de la société, notamment en raison de la multiplication des systèmes de chats et des voix quasi humaines des assistants personnels virtuels.

« Imagine à quel point un jeune qui se trouve devant un ami comme My AI, qui lui donne conseil, a besoin de discerner la machine de l’humain et de discerner devant quel contenu il se trouve », soulève Chloé Sondervorst, réalisatrice à CBC/Radio-Canada.

L’importance de développer l’esprit critique des jeunes

Bien que My AI suive 99,5% du temps « les règles et politiques de la communauté Snapchat » et que les réponses du logiciel soient très souvent exactes, les failles de l’IAG de My AI inquiètent, surtout puisqu’il se trouve sur une plateforme grandement employée par des mineurs.

« L’IAG est si convaincante qu’elle donne l’impression de lire quelque chose de vrai. Elle est entrainée à répondre à ce qu’on lui demande (…) Son souhait est de nous satisfaire », estime Mme Turbide. Ce « désir » de plaire à l’utilisateur fait craindre à la conseillère pédagogique que ce type d’outil puisse « inventer des sources qui ont l’air d’être vraies ».

« Le besoin de la pensée critique a toujours existé, mais il devient d’autant plus pressant et important aujourd’hui. »

– Frédérick Bruneault, chercheur principal au Laboratoire d’éthique du numérique et de l’intelligence artificielle

Alors que la désinformation fuse de partout et est en flèche depuis l’évolution de l’IA, Frédérick Bruneault insiste sur l’importance d’outiller les jeunes pour mieux départager le vrai du faux : « On a toujours eu à se poser des questions sur ce qui est vrai, ce qui est faux, ce qui est une connaissance, ce qui n’en est pas. Mais auparavant, bien des gens pouvaient passer une bonne partie de leur vie sans être confrontés à ces questionnements. Maintenant, on est confronté dans la vie quotidienne à ces questions-là. »

« Le besoin de la pensée critique a toujours existé, mais il devient d’autant plus pressant et important aujourd’hui », ajoute M. Bruneault.

My AI, danger ou possibilité?

Certains jeunes disent utiliser My AI comme confident, voire comme outil thérapeutique. Les dialogueurs  peuvent amener de l’aide psychologique temporaire, surtout dans un contexte où avoir accès à des professionnels de la santé mentale peut prendre des mois. Les agents de dialogue d’intelligence artificielle ont aussi l’avantage d’être disponibles à toute heure, et de lever, pour certaines personnes, le stigma lié à demander de l’aide psychologique.

Cependant, ces technologies ne peuvent remplacer la thérapie selon différents experts qui redoutent l’idée que les dialogueurs découragent les jeunes d’aller chercher des ressources humaines. Aussi, l’efficacité des IAG comme aide à la santé mentale reste encore à être démontrée, tel que noté dans cette méta-analyse du Journal of Medical Internet Research.

Mais au-delà des inquiétudes plutôt théoriques liées à l’adoption de technologies comme My AI, les réactions concrètes des jeunes face à ce nouvel outil rassure Mme Sondervorst : « Ce qu’on voit principalement sur TikTok autour de My AI, ce sont des jeunes qui se moquent de ce robot et qui tournent en dérision ses failles. Je trouve ça très rassurant par rapport à l’esprit critique des jeunes utilisateurs. »

Selon elle, permettre aux jeunes de découvrir des IAG dans un contexte encadré vaut mieux que de les décourager fermement à les tester. « Ce que (leurs réactions) montrent, c’est qu’avec l’expérimentation de l’outil, ils sont capables de développer une compréhension de celui-ci. (…) Jouer avec les outils pour découvrir nous-mêmes leurs limites peut être une bonne piste pour le développement l’esprit critique des jeunes. »

Le droit et l’intelligence artificielle post-ChatGPT : Attachez votre ceinture, on passe en pleine vitesse!

Crédit Image à la Une : Roxanne Lachapelle