Les pères fondateurs du deep learning : Yoshua Bengio, Yann Le Cun et Geoffrey Hinton

Les pères fondateurs du deep learning : Yoshua Bengio, Yann Le Cun et Geoffrey Hinton

Le 27 mars 2019, Yoshua Bengio, Yann Le Cun et Geoffrey Hinton reçoivent le prestigieux prix Turing de l’ ACM (Association of Computing Machinery). Le prix récompense ses lauréats d’un million de dollars pour leur contribution « d’une importance technique majeure et durable dans le domaine informatique ». Une belle revanche pour ses trois « pères » rebelles de l’apprentissage automatique, un domaine sur lequel personne ne misait il y a encore 10 ans. Car si aujourd’hui le deep learning est très présent dans votre quotidien, que ce soit dans les assistants vocaux ou votre réseau électrique, c’est parce que ces trois chercheurs se sont battus pour faire exister les réseaux neuronaux. Retour sur une histoire d’amitié qui a changé l’histoire de l’intelligence artificielle.

Tout commence avec le britannique Geoffrey Hinton. En 1970, après une licence en psychologie expérimentale, le jeune diplômé s’attaque à une thèse en intelligence artificielle à l’université d’Edimbourg, alors même que le monde de l’IA entre en hibernation. Ce qu’on appellera plus tard ‘L’hiver de l’IA’ est cette période entre le début des années 1970 et la fin des années 1980 durant laquelle les financements des recherches dans ce domaine sont coupés. Il faut savoir qu’à l’époque, si les théories en IA comme celles d’Ada Lovelace ou Alan Turing, font miroiter des possibilités incroyables, les chercheurs sont encore limités techniquement par les capacités du matériel informatique. Ce qui poussa le milieu informatique à croire que l’IA était une belle théorie quasi impossible à mettre en place.

Geoffroy Hinton à l’université de Toronto © Johnny Guatto

S’inspirant de ses connaissances en sciences cognitives, Geoffroy Hinton fait sa thèse sur les réseaux neuronaux en informatique. Un sujet qui est alors classé sans suite après la parution du livre Perceptrons en 1969 qui estime que les réseaux neuronaux ne pourront jamais réussir des tâches complexes.  Ils passent alors pour un fou auprès de ses pairs, qui ne croient pas du tout en son sujet de thèse : « Les gens me disaient : C’est fou. Pourquoi tu perds ton temps sur ce sujet ? On a déjà démontré que c’est absurde. » se souvient Geoffroy Hinton dans une entrevue au journal The Star. À rebours de la tendance de l’époque, il pense qu’une machine ne peut être « intelligente » si elle n’imite pas le fonctionnement neuronal du cerveau humain.

Son doctorat en poche, le chercheur travaille dans plusieurs universités anglaises et nord-américaines avant de rejoindre celle où il pourra poursuivre son idée de réseaux de neurones artificiels. C’est à l’université de Californie, à San Diego, qu’il rencontre David Rumelhart, l’un des pionniers des neurosciences cognitives. Ensemble, ils vont publier un article sur l’algorithme de rétropropagation. Où ils mettent au point la méthode permettant de corriger la réponse de l’algorithme afin d’en minimiser les erreurs. Parmi les quatre références citées dans leur article, il y a un certain Yann Le Cun.

Yann Le Cun lors d’une conférence à Polytechnique. ©Jeremy Barande

En 1986, année de parution de cet article, Yann Le Cun est en début de thèse à l’université Pierre-et-Marie-Curie de Paris. L’année précédente, il a écrit le premier article de sa carrière, où il expose une méthode pour ajuster rapidement les paramètres du réseau. C’est le premier article au monde sur le sujet mais il passe alors inaperçu, notamment car il est écrit en Français. Après des études d’ingénieur, Yann Le Cun s’est décidé à faire une thèse sur les neurones artificiels à la suite d’un article de linguistique : « En lisant un dialogue entre Noam Chomsky et Jean Piaget sur l’apprentissage inné ou acquis du langage, j’ai repéré un argument faisant référence aux réseaux de neurones que je ne connaissais pas. Ce champ prometteur était quelque peu abandonné et je m’y suis plongé tout seul » raconte Yann Le Cun dans une entrevue au journal Le Monde.

L’année suivante, le jeune docteur rejoint Geoffroy Hinton à l’université de Toronto pour faire un post-doc sur l’amélioration de leur système de correction d’erreurs. Il est aussi connu pour le développement d’une technique de filtres permettant d’analyser les images et d’améliorer leur reconnaissance. Dès le milieu des années 1990, son système sert à reconnaître l’écriture manuscrite des lettres ou des chèques.

Devenu professeur, Yann Le Cun est membre du jury de maitrises. Un jour, il a devant lui un étudiant qui va se démarquer des autres : « Yoshua est un bourreau de travail. J’étais dans son jury de master sur la reconnaissance de la parole avec réseaux neuronaux et il était étonnamment en avance sur son temps. » se remémore le chercheur. Il s’agit de Yoshua Bengio.

Yoshua Bengio ©Christian Fleury

Après son doctorat à McGill, il rejoint Le Cun durant son post-doc, au sein des célèbres laboratoires de télécommunication Bell Labs, dans le New Jersey. Dans son équipe, il participe à la mise au point de son système de reconnaissance d’écriture.

La société (pas si ) secrète des réseaux neuronaux

Chacun à leur manière, les trois chercheurs contribuent à façonner l’apprentissage automatique. Geoffrey Hinton, formé aux neurosciences et à la psychologie, a mis au point la méthode permettant de corriger la réponse de l’algorithme afin d’en minimiser les erreurs. Yann Le Cun est connu pour le développement d’une technique de filtres permettant d’analyser les images et d’améliorer leurs reconnaissances. Yoshua Bengio trouve quant à lui une solution pour augmenter les performances des algorithmes de reconnaissance vocale et de traduction. Il est aussi à l’origine d’un type de réseaux, les réseaux adverses, particulièrement efficaces pour créer des images, des textes, des voix sans modèle.

Au début des années 2000, ils sont les seuls à croire aux réseaux neuronaux. A l’époque, les réseaux de neurones étaient supplantés, comme méthode d’apprentissage automatique, par une autre, dite « machine à vecteur de support », développée aux Bell Labs également. Les revues scientifiques allaient jusqu’à refuser des articles sur le deep learning. « On avait l’impression que le deep learning était tabou », se souvient Yann LeCun. De sont son côté, Yoshua Bengio rappelle que « durant cette période, les éditeurs de journaux refusaient les articles sur les réseaux de neurones. Il a fallu les convaincre qu’ils avaient tort. »

C’est alors que les trois mousquetaires de l’IA décident de s’unir pour rallier la communauté scientifique à leur cause. En 2003, ils réunissent à décrocher un financement de la Cifar (Canadian Institute for Far Advanced Research). A l’époque, leurs collègues de couloir ne les prennent pas au sérieux : « Quand on parlait des réseaux de neurones, les gens rigolaient un peu dans notre dos. On passait pour des doux dingues. » se souvient Yann Le Cun, en entrevue au journal Les Échos.

En 2007, le NIPS (Neural Information Processing Systems), l’une des conférences les plus importantes en IA, refuse qu’ils organisent un atelier sur le deep learning, un terme qu’ils ont eux même forgé. Qu’à cela ne tienne, l’autoproclamée ‘conspiration du deep learning’ organise une conférence clandestine en parallèle du programme officiel et affrète des bus pour y emmener les participants. Environ 300 personnes s’y rendent, soit la moitié des inscrits à la convention. Ce jour là, la communauté de l’IA prend conscience qu’il se passe quelque chose d’intéressant.

Dans les années qui suivent, les résultats obtenus par le deep learning commencent à dépasser ceux obtenus avec les autres techniques d’IA. D’abord pour la reconnaissance vocale, à partir de 2009, puis pour les images à partir de 2011. En 2012, un événement vient complètement basculer l’intérêt vers l’apprentissage automatique. Le réseau de neurones développé par les trois « conspirationnistes » remporte une compétition de reconnaissance d’images. Puis en mars 2016, la machine Deep Mind gagne contre un champion de jeu de go. 

Depuis, les GAFAM investissent en masse dans cette nouvelle technologie. Google recrute Geoffroy Hinton, début 2012. La même année, Yann Le Cun prend les rênes du laboratoire d’IA chez Facebook à Paris. Le seul qui soit resté dans le domaine universitaire est Joshua Bengio. À Montréal, il fonde Mila un écosystème de laboratoires, de start-ups et d’instituts de recherche unique au monde. Le 27 mars 2019, les trois mousquetaires de l’IA reçoivent ensemble le prestigieux prix Turing. Les « doux dingues » sont devenus des stars.