[JEUX VIDÉO]- Breaking Walls et le CRIM testent un concept de jeu AR

Le CRIM et Breaking Walls ont fait équipe pour tester un concept de jeu vidéo en réalité augmentée. Il repose sur la détection, en temps réel, des émotions des joueurs. Le centre de recherche et le studio se sont attachés à déterminer la meilleure méthode pour entraîner des algorithmes. Objectif : reconnaître les émotions pour le développement du jeu. Si les essais n’ont pas été concluants, la collaboration a cependant été fructueuse. Explications.

Un jeu dans lequel les IA ont pris le contrôle

« Make Believe » est un jeu vidéo en réalité augmentée (AR) conçu par le studio québécois Breaking Walls. Il plonge le joueur dans un monde apocalyptique dans lequel les intelligences artificielles ont pris le contrôle. Ce dernier est donc amené à utiliser la technologie pour vaincre ces IA totalitaires et restaurer la paix sociale.

« Le joueur doit se promener dans le monde pour récolter des éléments permettant de construire des robots. Ces robots doivent avoir des personnalités pertinentes dans le jeu. Nous avons ainsi travaillé avec le CRIM pour comprendre les émotions des joueurs et pouvoir créer des IA qui s’adaptent à leur comportement », explique Sébastien Nadeau, responsable des technologies chez Breaking Walls.

Le défi de rassembler une base de données 

Ainsi, la problématique a été dès le début de déterminer les émotions des joueurs au cours de la partie. « Notre spécialité est de détecter l’émotion à partir de la parole, mais cela prend bien évidemment des données », détaille Gilles Boulianne, chercheur senior en traitement automatique de la parole au CRIM. Le premier objectif du Centre était donc de rassembler une base de données pertinentes pour entraîner un système d’algorithmes. La pertinence de cette base repose sur la bonne annotation des données. En un mot, pour que le système d’algorithmes fonctionne, il faut qu’il sache exactement à quelle parole correspond quelle émotion : peur, excitation, stress, etc.

L’entraînement des algorithmes

Afin de mettre en place la base de données nécessaire à l’entraînement des algorithmes, le CRIM s’est appuyé sur des protocoles existants d’annotation des émotions. « Nous avons suivi une méthode standard avec cinq ou onze catégories suivant le protocole », confie Gilles Boulianne. En collaboration avec Patrick Charland de l’UQAM et l’équipe du Tech3Lab de HEC Montréal, Breaking Walls et le CRIM ont organisé des séances d’enregistrement des réactions des joueurs. Enregistrement de leurs expressions faciales et leurs paroles, notamment. « Les gens étaient connectés à une espèce de polygraphe pour mesurer des caractéristiques liées à l’émotion », décrit le chercheur senior en traitement automatique de la parole.

Les limites des méthodes d’entraînement envisagées

Après la cueillette de ces données, puis leur étiquetage minutieux, le CRIM a entraîné un algorithme d’intelligence artificielle. « Disons que nous avons essayé d’entraîner un algorithme, mais nous nous sommes finalement rendu compte que les annotations n’étaient pas assez précises. Les émotions qui devaient être prédites étaient trop standards, ce qui fait que nous ne réussissions pas à avoir de corrélation », déplore Gille Boulianne. La conclusion de l’expérience est que les méthodes d’entraînement des algorithmes envisagés ne sont pas suffisamment performantes pour permettre le développement d’un jeu comme « Make Believe ».

L’expertise apportée par le CRIM a ainsi permis à Breaking Walls de gagner du temps. La preuve de concept n’étant pas concluante, le studio a pu réorienter sa ligne artistique efficacement. L’expérience menée par le CRIM a permis de comprendre que les paroles prononcées par le joueur ne sont pas nécessairement en lien avec ses émotions. Il n’est donc pas pertinent d’entraîner des algorithmes à partir de celles-ci.

« Malgré tout, nous avons entraîné un système à partir de données indépendantes et nous avons fourni ce système à Breaking Walls pour qu’il puisse expérimenter avec des situations plus réalistes », nuance Gilles Boulianne.

Une collaboration qui a permis de tester le prototype

De cette collaboration, Sébastien Nadeau retient la pertinence des réponses apportées. « Lorsque nous avons commencé la collaboration avec le CRIM, nous avions un prototype à tester. L’objectif était de sortir avec des conclusions par rapport à l’expérience ».

Le jeu vidéo reposant sur la détection des émotions des joueurs pendant la partie, il faudra maintenant à Breaking Walls trouver un moyen de parvenir à identifier ces émotions, condition sine qua non pour que « Make Believe » puisse voir le jour dans son concept actuel. Grâce au système transmis par le CRIM, le studio ira donc de l’avant, notamment en faisant d’autres tests.

Source : CRIM / Lien Multimédia