L’IA transforme le monde du divertissement

L’IA transforme le monde du divertissement

Tout comme Photoshop a transformé l’art de la photographie, l’IA s’implante graduellement comme une commodité dont le cinéma ne pourra bientôt plus se passer. 

Le premier symposium VFX 2021 présenté par le Bureau du Cinéma et de la Télévision du Québec révèle comment l’intelligence artificielle (IA) est en train de révolutionner la manière de concevoir l’animation et les effets spéciaux.

HUMANISER LES PERSONNAGES

Le réalisme des personnages fait partie des préoccupations constantes depuis les débuts de l’animation par ordinateur. Pour ajouter à ce réalisme, la Torontoise JALI Research a développé un système innovant qui combine la psychologie, la langue et le style de langage.

Le modèle IA permet de traduire en un temps record une série 3D dans dix langues différentes (dont le français). Le créateur dispose d’un ensemble de paralangages pour chaque personnage permettant de varier les expressions du visage (yeux, sourcils bouche, cou) et les inflexions de la voix (énoncer, marmonner, crier), en fonction de l’émotion à recréer au bon moment dans l’image.

Cette fonctionnalité évite que le projet d’animation ne soit dénaturé par la traduction et permet à l’animateur de conserver le contrôle artistique de sa création.

La traduction serait suffisamment réaliste pour que les cinéphiles ou les gamers décident de sélectionner les paramètres de leur langue maternelle plutôt que l’anglais, selon JALI Research.

L’IA permet aussi d’humaniser un avatar interactif dans un jeu vidéo en synchronisant automatiquement le visage avec les intentions décelées. CD Projekt RED l’a utilisé dans le jeu Cyberpunk 2077, par exemple.  

FLUIDITÉ DES MOUVEMENTS

Par ailleurs, l’outil développé par RADiCAL et RADiCAL Live met à profit la vision par ordinateur, l’apprentissage profond et l’anthropométrie pour virtualiser le mouvement humain en 3D à partir d’une image 2D, sans avoir besoin d’enfiler un costume de capteurs de motion. « Nous voulons rendre la virtualisation humaine plus accessible », souligne Matteo Giuberti, directeur technique chez RADiCAL.

La plateforme produit des animations exportables (en fichiers FBX) qu’un créateur intègre ensuite dans son projet.

CHANGER L’ENVIRONNEMENT

L’IA promet également de rendre la postproduction beaucoup plus collaborative. Au point où les effets spéciaux auront l’air d’avoir été présents sur le plateau de tournage.

Pour y arriver, il faut développer de bons coachs capables et désireux d’appliquer l’IA à la production de manière holistique, selon Sarah Watling, PDG de JALI Research.

« Les développeurs de logiciels et les informaticiens sont habitués de travailler ensemble en équipe et ils poussent les artistes à travailler différemment. » – Sarah Watling, PDG de JALI Research.

Ainsi, il sera bientôt possible de calibrer la caméra avec de nouveaux paramètres en postproduction, de simplifier les déplacements dans une scène ou même de changer l’aspect et la direction de la lumière d’un coup de baguette sur tous les objets dans une scène entière.

L’équipe du professeur Jean-François Lalonde, chercheur à l’Université Laval, travaille sur ce projet qui inverserait le processus de formation d’images. L’idée est de partir des images du film pour retourner aux sources et les corriger à rebours en suivant le chemin de l’image à la caméra, puis de la caméra à la scène et ensuite à l’éclairage.

LES EFFETS TAMPONS

Dans le même esprit, la Londonienne Foundry (développeuse de Nuke, Mari Hiero, Modo, Katana, Flix, Ocula, Cara VR, Colorway) vise actuellement à mettre l’IA dans les mains des artistes. Dans NukeX et Nuke Studio, l’IA peut créer de nouvelles séries d’images avant et après afin de changer un défaut.

L’artiste donne à l’outil un modèle à suivre et le CopyCat applique la transformation à travers tout le reste d’une séquence. Ceci peut sauver beaucoup de temps en recoloration, par exemple. L’outil peut aussi ajouter ou retirer une barbe à un acteur, à travers tout le film en un tour de main!

Effets spéciaux utilisant l’intelligence artificielle pour changer une séquence complète à partir de quelques images modifiées par un artiste (Foundry).

Pour Mathieu Mazerolle, l’apprentissage machine permettra aux productions de « résoudre les problèmes les plus difficiles, de réduire les tâches répétitives et de se concentrer plus vite sur l’aspect créatif. La clé demeure d’en faire un bon assistant, sans remplacer l’artiste. »


TÉLÉPORTER LE PUBLIC

L’entreprise québécoise Félix & Paul Studios, leader mondial dans son domaine travaille sur la rotoscopie et l’amélioration constante de la résolution et de la qualité des images. Leur caméra possède 32 lentilles pour créer des films en réalité virtuelle qui transportent le public à quelques pouces d’un acteur dans un environnement immersif, et ce, autant sur terre que dans l’espace.

SE RÉINCARNER À L’ÉCRAN

Depuis bien avant les Avengers, Doug Roble développe quant à lui des personnages reconnus comme des humains pour des films ou des performances en direct. En 2019, le directeur principal de la recherche et du développement chez Digital Domain en Californie a lancé une version automatisée de son personnage digital Doug.

DigiDoug est en fait un rendu de lui-même en temps réel et en 3D, une sorte d’hologramme cinématographique. Il fonctionne grâce à un costume de capteurs de motion inertiel, des réseaux neuronaux et d’énormes quantités de données. DigiDoug parle et bouge comme le porteur du costume avec un délai d’un sixième de seconde entre les deux. Il retranscrit ses émotions faciales avec une granularité pouvant reproduire jusqu’au flux sanguin, au mouvement des cils et aux reflets de lumière sur la peau.

L’outil pourrait permettre à un artiste de donner un concert à distance ou à s’intégrer dans un film avec une grande fluidité. L’outil transpose aussi l’animation par ordinateur dans un espace de réalité virtuelle. Il pourrait changer la qualité des relations à distance en nous donnant l’impression de prendre un café avec l’être cher dans sa cuisine.

Il pourrait donner une humanité à l’assistance virtuelle en ligne, et peut-être un jour, nous permettre d’entretenir une conversation avec soi-même (ndlr: mieux qu’avec un psy)! Pour Doug Roble, «l’apprentissage machine existe, mais l’intelligence artificielle : pas encore. »

LE DEEP-DEEP FAKE

La technologie de transfert de performance Charlatan développée par Digital Domaine permet même au porteur du costume de changer d’identité en un seul clic. L’outil est tridimensionnel et va encore plus loin que le deepfake qui se fait actuellement en 2D, basé sur l’image. Il permet de changer le visage et les vêtements d’un animé, en temps réel, avec un réalisme sans précédent (130 images affichées par seconde).

On peut voir comment cela pourrait mal tourner du côté de l’impersonnification. 

Nous avons déjà vu que les technologies utilisant l’IA risquent de faciliter la propagation de fausses nouvelles sur les réseaux sociaux alternatifs ou appartenant aux GAFAM.

Selon Nina Schick, auteure de Deepfake and the infocalypse, « la situation va empirer avant de s’améliorer. Il est urgent de mettre en place un réseau interdisciplinaire pour fixer l’écosystème, protéger la liberté d’expression, mais créer une infrastructure sécuritaire Web en qui l’on peut avoir confiance. Comme nous le faisons dans la société civile. »

L’IA POUR MODÉRER LES FORUMS

Enfin, Roblox, bien connue des amateurs de jeux vidéo, compte sur l’IA pour monitorer et modérer les échanges en ligne.

Ce travail colossal demande actuellement l’implication de milliers de modérateurs, dans le but de protéger la jeune clientèle de moins de 18 ans.

Il est difficile de déterminer ce qui sera surveillé, mais l’IA pourrait certainement aider à cause de la multitude de contenus que ce soit : au niveau des paroles échangées entre les joueurs, des gestes posés ou des images/vidéos diffusées.

« L’IA peut nous permettre d’intercepter le contenu indésirable avant qu’il ne soit vu. »
– Morgan McGuire, scientiste en chef chez Roblox.

Roblox Studio a développé une communauté mondiale de plus de deux millions de développeurs pouvant créer des expériences en 3D dans leurs propres espaces de jeu multijoueurs.

« Nous aurons encore besoin du jugement humain, mais l’IA peut nettoyer le bruit. La modération doit devenir en temps réel, conclu Morgan McGuire, parce que notre contenu est en temps réel. »

LES PERSPECTIVES

De nos jours, toutes les parties d’un film sont touchées par un logiciel, à un moment ou à un autre. On saisit bien l’ampleur de la révolution qu’apporte l’IA sur le travail des techniciens et des animateurs en visionnant cette vidéo qui décrivait le processus de création et du transfert du 2D vers le 3D, il y a huit ans.

Les conférenciers du Symposium VFX 2021 semblaient tous d’accord pour dire que l’avancement de l’IA dans l’industrie du cinéma et de la télévision passe par la collaboration sur des plateformes de codes ouverts (Open sources).

Selon eux, l’IA est en train de devenir une commodité essentielle qui risque de bénéficier plus vite aux gros studios de production ayant les moyens de faire de l’apprentissage supervisé (impliquant beaucoup d’étiquetage de données).

L’apprentissage par renforcement (reinforcement learning) démocratise l’IA pour les petits studios en donnant accès à des ensembles de mesures et de techniques.

C’est la raison pour laquelle, ils ont tenu à souligner l’importance de créer des maisons fiables pour les projets à codes ouverts telle que l’Academy Software Fondation (ASWF). L’ASWF développe un écosystème de projets comme celui d’OpenVDB, par exemple, utilisé par RodeoFX dans ses productions cinématographiques.