Les LLM ouvrent de nouveaux horizons en robotique
L'association robots-LLM est en plein boom. Une étude récente souligne le rôle crucial de cette technologie dans les progrès de la robotique, notamment en vue d’améliorer l'interaction homme-robot et d’élargir les champs d’applications.
Les entreprises spécialisées dans l'intelligence artificielle et les robots humanoïdes suscitent un intérêt croissant. Selon une étude récente publiée par Goldman Sachs, le marché mondial des robots humanoïdes pourrait atteindre 38 milliards de dollars d'ici 2035. Il apparaît que les développements en matière d'intelligence artificielle et, en particulier, les progrès permis par les grands modèles de langage (LLM) stimulent la dynamique et les investissements dans le secteur. Preuve parmi d'autres: la récente levée de fonds de Mimic, spin-off de l’EPFZ qui développe des mains robotiques pilotées par la GenAI. Ou encore l’engouement dont font l'objet les start-up Figure et Covariant.
L'immense potentiel des LLM en vue d'améliorer les capacités des robots et l'interaction homme-robot a été reconnu par les chercheurs et les ingénieurs du domaine, constatent les auteurs d’une récente étude académique, des chercheurs à l'Université Jinan à Zhuhai, en Chine, et au Département d'Informatique de l'Université de l'Illinois à Chicago. Leur article résume les avantages et les applications découlant de l’association robotique-LLM.
Selon les chercheurs, les LLM sont en train de transformer radicalement les robots en les dotant d'une capacité d'interaction en langage naturel qui améliore considérablement leur utilisation et leur intégration dans les environnements humains. Cette technologie leur permet de «comprendre» et de générer des instructions verbales pour effectuer toute une série de tâches, de la navigation à la manipulation d'objets. Par ailleurs, les LLM améliorent la prise de décision des robots, qui sont dès lors en mesure de rechercher des informations. Ils deviennent également plus adaptatifs (par exemple en fonction des préférences des utilisateurs), s'améliorant grâce aux interactions avec les utilisateurs.
Les LLM peuvent aussi permettre de simuler des interactions émotionnelles des robots, indiquent les chercheurs. Avant de souligner que les LLM prennent également en charge l'interaction multimodale, permettant aux robots de traiter simultanément différentes formes d’inputs. Sur ce point, précisons que certains experts tendent aujourd'hui à faire la distinction entre les LLM au sens stricte (spécialisés dans le traitement et la production de données textuelles) et les LMM (grands modèles multimodaux), conçus pour comprendre et traiter aussi bien des textes que des images, sons ou vidéos.
Les domaines d'applications de l'association robots-LLM
Quelles sont les différentes applications des LLM dans le domaine de la robotique? Les auteurs de l’étude en répertorient un certain nombre.
Transports: les robots équipés de LLM sont capables de naviguer de manière autonome et de planifier leur trajectoire, en comprenant les données sémantiques de leur environnement afin d'éviter les obstacles et d'atteindre leurs objectifs.
Santé: les robots peuvent aider à diagnostiquer des maladies, planifier des interventions chirurgicales et fournir des soins personnalisés aux patients.
Industrie: les robots sont amenés à interpréter des données complexes pour la surveillance des processus industriels, l'automatisation des tâches, la détection d'anomalies et la maintenance prédictive.
Agriculture: il est possible de former les robots en vue d'analyser les conditions du sol, du climat et des cultures afin d'optimiser la gestion des exploitations.
Education: les chercheurs évoquent ici la personnalisation de l'apprentissage, en répondant aux questions des étudiants et en adaptant le matériel pédagogique aux besoins individuels.
Divertissement et interaction sociale: les robots dit sociaux sont conçus dans l’idée de participer à des conversations, «comprendre» les émotions humaines et assurer une compagnie et des distractions.
Exploration et environnement: la surveillance et l'exploration de milieux difficiles tels que les océans, les forêts ou les sites de catastrophes naturelles peuvent être assurées par des robots équipés de LLM, pour analyser les données des capteurs et les images satellites afin de, par exemple, surveiller les niveaux de pollution.
