Un robot japonais, des algorithmes suisses, des clients finlandais

Créer un robot humanoïde capable d'interagir en conditions réelles présente de nombreux challenges. D'autant plus quand il se trouve en présence de plusieurs personnes. Si vos équipes R&D s'arrachent les cheveux pour entraîner un robot afin qu’il puisse, par exemple, accueillir avec naturel vos clients, une initiative de l’Idiap devrait leur fournir un coup de pouce non négligeable. L'institut de recherche de Martigny vient en effet de publier en libre accès les jeux de données et les algorithmes mis au point dans le cadre du projet européen Mummer.

Distinguer rapidement les interlocuteurs

Créé à partir du désormais célèbre Pepper, le dénommé Mummer a passé des mois et des mois à interagir avec les clients d'un centre commercial en Finlande. Là-bas, chercheurs valaisans et européens ont testé et affiné leurs technologies, jusqu’à élaborer des algorithmes permettant au petit humanoïde de reconnaître et de distinguer rapidement les interlocuteurs dans des conditions réelles d’éclairage. Lui inculquer ces compétences n'avait au départ rien d’une mince affaire. «La confusion entre une personne et une autre et l’un des principaux écueils techniques à l’utilisation de robots dans l’espace public, où les interlocuteurs sont nombreux. Une seule erreur et le robot perd l’historique de la conversation pour recommencer l’interaction du début ou continue la conversation avec un autre», détaille Jean-Marc Odobez, responsable du groupe de recherche Perception et Compréhension de l’Activité à l’Idiap.

Enregistrement de nombreuses interactions

Pour que Mummer sache s’y retrouver lors de ses échanges avec les clients, les chercheurs ont enregistré des vidéos de nombreuses interactions, puis les ont étiquetées. Ce matériel a été analysé par les algorithmes qui ont pu s’affiner en faisant appel au machine learning. Les chercheurs de l’Idiap ont en outre élaboré une technique d'apprentissage moins chronophage car se nourrissant de jeux de données faiblement étiquetées. Au lieu de se baser sur des annotations, le robot apprend à partir d’images manipulées. «Pour apprendre à estimer la direction du regard, comme il est difficile de collecter un grand nombre d’images de visages et des yeux avec l’information de direction du regard, nous avons montré qu’il est possible de s’appuyer sur une tâche annexe de manipulation du regard qui ne demande pas de supervision/annotation», explique Jean-Marc Odobez à ICTjournal.