Alors que la course effrénée à l’IA se poursuit pour les géants du web, l’entreprise Meta vient de lancer Llama 3.1, un modèle qu’elle présente comme étant « le plus grand à ce jour », pour ses 405 milliards de paramètres intégrés, et son algorithme entraîné grâce à plus de 16 000 GPU H100 de Nvidia. Reposant sur ce modèle, le service d’assistance IA de Meta, intégré à ses plateformes Facebook, Instagram et Whatsapp, deviendra, selon l’entreprise, le plus utilisé au monde, allant jusqu’à dépasser ChatGPT d’ici la fin de 2024.
Une puissance de calcul qui comporte ses risques
Pour Gaétan Raoul, journaliste et expert du Big Data et de l’IoT (Internet des objets), le fait d’avoir préentraîné Llama 3.1 405B en utilisant une puissance de calcul de 3,8 × 1 025 FLOPs catégoriserait le modèle « automatiquement dans les modèles d’IA présentant un risque systémique », en se référant à l’AI Act en Europe, et à sa grille de lecture. S’il ne nie pas sa puissance de calcul, il y voit tout de même des raisons pour les plus enthousiastes de freiner leurs ardeurs.
« (…) la mise à disposition d’un modèle de 405 milliards de paramètres entraîné sur un cluster de 16 000 GPU Nvidia H100 (…) paraît (déjà) décalée. »
– Gaétan Raoul, journaliste et expert du Big Data et de l’IoT
« (…) alors que le marché s’oriente vers l’utilisation de small language models (SLM) ou de petits LLM (entre 7 et 15 milliards de paramètres), la mise à disposition d’un modèle de 405 milliards de paramètres entraîné sur un cluster de 16 000 GPU Nvidia H100 (80 Go VRAM HBM3e, TDP de 700 watts) paraît (déjà) décalée. D’autant que Meta vient de grever son bilan carbone basé sur la localisation en y ajoutant 11 390 tonnes équivalent CO2 (39,3 millions d’heures de traitement cumulées), dont 8 930 tco2eq imputables à l’entraînement de son très gros modèle. »
Le chatbot de Meta montré du doigt
Depuis qu’il est offert sur ses plateformes Facebook et Instagram, le robot conversationnel de Meta a été critiqué pour son omniprésence et le fait de ne pouvoir être désactivé, en plus de fonder souvent ses réponses sur le contenu des médias d’informations et sites de nouvelles dont l’entreprise a pourtant elle-même bloqué le partage entre internautes. Un porte-parole de Meta a indiqué que l’entreprise prendrait les mesures nécessaires pour se conformer à la Loi canadienne sur les nouvelles en ligne.
Des attributs vantés par Meta
Désormais offert sous une licence ouverte aux grandes entreprises, Llama 3.1 serait comparable à l’initiative de l’Open Compute Project. Sa flexibilité, le contrôle et les capacités de pointe sans précédents promises de Llama 3.1 405B offriraient à la clientèle de nouvelles possibilités en matière de génération de données synthétiques et de distillation de modèles. La transparence de Meta quant au poids du modèle permettrait aussi aux entreprises de développer l’algorithme à partir de leurs propres bases de données. L’une des particularités de la proposition de Meta consiste à avoir inclus aux évaluations du modèle des tests de cybersécurité et de biométrie.
Sur le plan de l’IA générative, la fonction intégrée « Imagine Me » permet de téléverser la photo de quelqu’un et d’en obtenir des images où le sujet lui ressemble. Étant donné que l’option n’est actuellement offerte qu’aux États-Unis, les utilisateurs localisés à l’extérieur du territoire américain doivent activer un VPN pour en faire l’essai.
Pour en promouvoir les bénéfices et l’adoption au sein de la communauté d’utilisateurs potentiels, l’entreprise a choisi de s’associer à Microsoft, Amazon et Google.
« Aujourd’hui, plusieurs entreprises technologiques développent des modèles propriétaires de pointe, mais l’open source comble rapidement l’écart. L’année dernière, Llama 2 n’était comparable qu’à une ancienne génération de modèles en retrait. Cette année, Llama 3 est compétitif avec les modèles les plus avancés et est un leader dans certains domaines. À partir de l’année prochaine, nous nous attendons à ce que les futurs modèles Llama deviennent les plus avancés de l’industrie », a déclaré le PDG de Meta, Mark Zuckerberg, en marge du lancement, s’engageant à rendre l’IA « accessible à tous ».
Il est possible de tester le modèle Llama 3.1 à l’adresse : https://llama.meta.com.
Crédit Image à la Une : Meta
![[Édito] Mise à jour et réflexion collective nécessaires sur le domaine quantique](https://www.cscience.ca/wp-content/uploads/2024/12/nouveau-numero-quantique-480x362.jpg)
