Google DeepMind dévoile son nouvel agent IA conçu pour évoluer dans des univers 3D
DeepMind a dévoilé SIMA 2, sa nouvelle génération de son agent IA conçu pour agir et apprendre dans des environnements 3D virtuels. Cette version, désormais alimentée par un modèle Gemini,combine exécution d’actions, raisonnement, interaction conversationnelle et capacité d’auto-amélioration.
Après avoir introduit l’an dernier SIMA un agent capable d’exécuter plus de 600 instructions dans des jeux commerciaux en «regardant» l’écran et en utilisant un clavier et une souris virtuels, Google DeepMind présente désormais SIMA 2, décrit comme «une nouvelle étape importante» dans ses recherches. Selon un communiqué, le nouvel agent ne se contente plus de répondre à des instructions. Il est désormais capable «de réfléchir à ses objectifs, de dialoguer avec les utilisateurs et de s’améliorer au fil du temps». DeepMind indique que ces nouvelles aptitudes permettent à l’agent de mener des tâches plus longues et plus complexes dans une variété d’environnements.
L’entreprise affirme également que SIMA 2 améliore nettement sa capacité de généralisation. L’agent réussit désormais des tâches dans des jeux sur lesquels il n’a jamais été entraîné, comme ASKA ou MineDojo. L’intégration d’un modèle Gemini lui permet de comprendre des instructions plus riches et de transférer des notions acquises d’un titre à un autre, «par exemple en prenant sa compréhension du minage dans un jeu et en l’appliquant à la récolte dans un autre». SIMA 2 traite aussi des instructions multimodales, comme des croquis à l’écran, et peut suivre des commandes en plusieurs langues ou même exprimées en emojis. Selon DeepMind, ces capacités rapprochent l’agent des performances d’un joueur humain sur un large éventail de situations.
Apprentissage autonome dans des mondes générés
Au-delà des démonstrations humaines utilisées lors de l’entraînement initial, SIMA 2 est capable d’apprendre seul dans de nouveaux environnements générés automatiquement. DeepMind explique que l’agent s’entraîne dans des mondes créés via Genie 3 (un modèle IA capable de générer à la volée des mondes 3D interactif), puis réutilise ces données pour renforcer ses compétences. Ce mécanisme, décrit comme un «self-improvement cycle», doit permettre à l’agent d’acquérir de nouvelles aptitudes sans intervention humaine supplémentaire.
SIMA 2 est proposé en «research preview» à un nombre limité de chercheurs et de studios de jeux partenaires. DeepMind affirme accompagner cette étape d’un cadre de développement responsable, incluant des évaluations de sécurité et la mise en place de garde-fous.
L’entreprise rappelle toutefois que des limites subsistent: mémoire courte, difficultés sur les tâches très longues nécessitant un raisonnement étendu et contraintes liées à son contrôle via clavier-souris dans des environnements 3D complexes.
