Meta construit un superordinateur d’IA annoncé comme le plus puissant du monde

Meta, le groupe qui détient Facebook, Whatsapp et Instagram, a annoncé être en train de mettre au point l’AI Research SuperCluster (AI RSC), un superordinateur dédié à l'intelligence artificielle (IA). Selon l’annonce du géant de la tech, la machine est d’ores et déjà l’un des supercalculateurs d’IA les plus puissants qui existent et sera le plus rapide du monde une fois achevé, à la mi-2022.

Apprentissage à partir de trillions d'exemples

A l’aide de l'AI RSC, les chercheurs de Meta pourront travailler sur des modèles d’IA entraînés à partir d’un nombre vertigineux de données. Avec en point de mire, la capacité à travailler dans des centaines de langues différentes, à analyser de gigantesques quantités de textes, images et vidéos. Mais surtout à concevoir de nouveaux outils de réalité augmentée et des technologies au service des projets de métavers du groupe. «Les expériences que nous créons pour le métavers nécessitent une énorme puissance de calcul (des quintillions d'opérations par seconde!) et l'AI RSC permettra de créer de nouveaux modèles d'IA capables d'apprendre à partir de trillions d'exemples, de comprendre des centaines de langues, etc.», a résumé Mark Zuckerberg, le CEO de Meta, depuis son compte Facebook.

Conçu pour entraîner des modèles multimodaux

Avant de se projeter dans l’exploitation de l'AI RSC au service du métavers, Meta explique qu’il compte déjà s’en servir pour l'identification de contenus nuisibles sur ses services. Son supercalculateur a été spécialement pensé pour faire tourner les transformateurs, modèles de deep learning qui peuvent apprendre de façon non supervisée à partir de données non étiquetées. A l’image du réseau neuronal multimodal AV-HuBERT, créé par les équipes de Meta, en mesure de comprendre la parole en associant signaux audio et visuels. Dans son annonce, Meta précise que son nouveau superordinateur permettra de former plus rapidement des modèles qui utilisent des signaux multimodaux pour déterminer si une action, un son ou une image est nuisible ou bénin. Le groupe a aussi tout récemment annoncé la mise au point d’un algorithme autosupervisé haute performance multimodal, capable de prédire ses propres représentations des données en input, qu'il s'agisse de parole, de texte ou d'audio.

Processeurs signés Nvidia

L'infrastructure de calcul haute performance de Meta, dont le développement a débuté voici un an et demi, fait appel à des composants signés Nvidia. Pour la première phase de son utilisation, le supercalculateur embarque 760 systèmes Nvidia GGX A100 contenant 6’080 GPUs connectés. Dans une annonce séparée, Nvidia précise que dans un seconde phase, RSC passera à 16000 GPUs en vue de fournir une puissance de calcul de cinq exaflops en précision mixte (32 ou 16 bits). Meta vise en outre à étendre le système de stockage de RSC pour fournir jusqu'à un exaoctet de données à 16 téraoctets par seconde. Selon Meta, la puissance de l'AI RSC serait comparable à celle de Perlmutter, actuel cinquième du classement des plus grands supercalculateurs du monde.

A noter que d’autres géants de la tech n'hésitent pas, eux aussi, à créer leur propre supercalculateur pour répondre précisément à leurs besoins. C’est par exemple le cas de Tesla, qui a développé une infrastructure de calcul haute performance équipée de microprocesseurs conçus par ses ingénieurs et taillés sur mesure pour les besoins de son intelligence artificielle.

Contacté par ICTjournal, Chirag Dekate, analyste chez Gartner, partage son point de vue sur les ambitions de Meta avec ce projet, avant de préciser en quoi il se distingue des supercalculateurs traditionnels.

Pourquoi est-il important pour Meta de construire son propre superordinateur dédié à l’IA?

En définitive, l'AI RSC permet à Meta de disposer d'une plateforme pour créer des technologies pour le métavers, où les applications et les produits basés sur l'IA joueront un rôle important. Cela inclut les nouveaux domaines technologiques de l'IA, notamment l'IA multimodale et l'IA incorporée (embodied AI), qui peuvent permettre une innovation disruptive dans le contexte du métavers. Par exemple, la traduction vocale en temps réel d'un grand groupe de personnes, chacune parlant une langue différente, et le développement de nouvelles expériences de réalité augmentée. Ces expériences d'IA avancées de nouvelle génération seront alimentées par des modèles de deep learning couplés, à grande échelle, qui comprennent des milliards de paramètres.

Peut-on comparer les performances annoncées de l’AI RSC avec celles des meilleurs supercalculateurs traditionnels?

Il peut être difficile de comparer l'AI RSC aux supercalculateurs traditionnels. Les environnements HPC traditionnels sont davantage conçus pour une arithmétique de haute précision afin d'offrir une plus grande exactitude pour les modèles physiques à une échelle extrême. Toute réduction de la précision pourrait entraîner des inexactitudes dans la physique sous-jacente. Les modèles d'IA sont, dans une large mesure, des techniques statistiques qui peuvent supporter une arithmétique de moindre précision sans affecter la précision du modèle. L’AI RSC est davantage un superordinateur conçu spécialement pour la mise à l'échelle des modèles d'IA. Les modèles HPC traditionnels peuvent également être exécutés dans l'AI RSC de Meta, mais ils n'ont généralement pas le parallélisme nécessaire pour maximiser la valeur des systèmes à l'échelle de l'AI RSC. Du point de vue de l'échelle, lorsqu'il sera entièrement déployé, l'AI RSC de Meta aura une capacité de calcul (5 exaflops) supérieure à la capacité agrégée des 500 plus grands superordinateurs du monde.