L’IA va donner des jambes aux avatars de Meta

Meta a annoncé avoir franchi mercredi 26 avril la barre du milliard d’avatars pour peupler ses environnements virtuels. «C'est un milliard de fois que les gens ont réimaginé la façon dont ils se présentent en ligne - comme se présenter à une réunion en costume-cravate alors qu'ils portent un pyjama dans la vie réelle», explique la firme. 

Et ces millions de personnages habitant le métavers disposeront désormais de jambes pour y déambuler. La firme nous avait habitués à des avatars flottants quelque peu ridicules dépourvus de la partie inférieure de leurs corps. Mais les choses ont changé et, en octobre denier, Meta a promis l’arrivée prochaine d’avatars avec jambes. «Je pense que tout le monde attendait cela», plaisantait Mark Zuckerberg en conférence de presse. 

Dans un registre surréaliste, la firme a annoncé un déploiement échelonné: «Les jambes seront d'abord déployées sur Worlds, afin que nous puissions voir comment cela se passe. Ensuite, nous commencerons à intégrer les jambes dans d'autres expériences au fur et à mesure que notre technologie s'améliorera».

C’est compliqué

La chose n’a cependant pas été aisée, précise Meta: «On pourrait croire qu'il suffit d'appuyer sur un bouton en coulisses, mais il a fallu beaucoup de travail pour que cela se produise». L’une des difficulté vient  de l’absence de données pour la partie inférieure du corps. Contrairement à la position de la tête et des mains qui peuvent s’appuyer sur le casque et les manettes, les jambes ne disposent pas de capteurs et les en équiper serait compliqué et onéreux. La caméra du casque ne semble pas non plus en mesure d’observer ce qui se passe en dessous du torse. 

Autre problème, l’expérience l’utilisateur risque d’être très dégradée en cas d’affichage trop approximatif. «Lorsque le rendu de votre corps numérique est incorrect, par exemple au mauvais endroit, cela peut être gênant, voire dérangeant, et vous faire sortir immédiatement de l'expérience», explique Meta.

Un algorithme pour prédire les jambes

Finalement, et comme souvent, Meta a trouvé la solution dans les IA génératives. Dans un article à paraître, les chercheurs de la firme expliquent avoir conçu AGRoL (pour «Avatars Grow Legs»), un modèle capable de générer l’entier du corps à partir des quelques signaux de suivi du haut du corps. Le modèle s’appuie sur une architecture de diffusion simple adaptée spécialement à la prédiction des mouvements et capable de traiter des signaux disparates, telles que les caractéristiques des articulations du corps humain par rapport aux images. Les chercheurs expliquent avoir également trouvé une solution pour éviter les tressautements et générer des mouvements fluides. Grâce à son architecture compacte, le modèle peut fonctionner en temps réel, une dimension bien entendu nécessaire pour les avatars.

Résultats de la génération par le modèle AGRoL. Les axes de couleur rouge-vert-bleu illustrent l'orientation de la tête et des mains, qui servent d'input au modèle.