Interactions futuristes

Réalité augmentée: ce bracelet de Facebook pourra anticiper nos intentions

Pour interagir sans frictions dans des environnements complexes de réalité augmentée, les chercheurs de Facebook développent un prototype futuriste de bracelet assisté à l’IA, capable d’interpréter – voire même d’anticiper – des micro-gestes des doigts. L’objectif est aussi d’intégrer au dispositif un système de rétroaction haptique.

Les chercheurs Facebook Reality Labs expliquent mettre un point d’honneur à développer des technologies pour interagir naturellement et efficacement dans des environnements de réalité augmentée (AR). On ne parle pas ici d’outils de navigation pour applications AR sur smartphone, mais de projets d’interfaces innovantes adaptées à un monde mixte généré via des lunettes, superposant des éléments graphiques au champ de vision complet de l’utilisateur. Ces chercheurs veulent dans ce cadre mettre au point une interface AR permettant «de rester totalement présent dans le monde réel à tout moment», grâce à un système de contrôle générant le moins de frictions possible. Le tout en respectant une longue liste d’exigences. Dont la confidentialité, la sécurité, la personnalisation, l’aspect intuitif, le confort ou encore l’autonomie.

Bracelet et IA contextuelle

L’un des projets menés par Facebook Reality Labs prend la forme d’un dispositif de saisie au poignet combiné à une IA contextuelle s'adaptant dynamiquement à l’utilisateur et à son environnement. Les chercheurs expliquent qu’un bracelet s’est imposé à leur yeux comme la solution idéale, contrairement à un système de commandes vocales, «pas assez privé pour la sphère publique ou peu fiable à cause du bruit de fond». Quant à un dispositif placé dans une poche, il ajoute une couche de friction entre l’utilisateur et son environnement. En revanche, un wearable porté au poignet présente l'avantage supplémentaire de pouvoir faire office de plateforme pour les capacités de calcul, la batterie et les antennes, tout en prenant en charge un large éventail de capteurs, expliquent les chercheurs.

Techniques d'électromyographie

Encore faut-il pouvoir doter ce bracelet d’un moyen de communiquer des informations suffisamment riches. Facebook Reality Labs s’est ainsi tourné vers les techniques d’EMG (électromyographie), qui font appel à des capteurs pour traduire les signaux électriques des nerfs et des muscles. Il s’agit donc de placer ce type de capteur dans le bracelet, la technologie étant en mesure de comprendre un mouvement de doigt d'à peine un millimètre.

Le prototype permet dans un premier temps de capter un ou deux mouvements de contrôle, à l'instar d’un pincement de doigts ou du relâchement du pouce et de l'index. Mais les chercheurs comptent aller bien plus loin, dans l’optique de permettre des interactions avec des mouvements plus complexes permettant de déplacer des objets en réalité augmentée à distance ou de taper n’importe où sur un clavier imaginaire. A terme, l'objectif est en outre de détecter la simple intention de bouger un doigt. Il ne s'agit pas de lire dans les pensées, soulignent les chercheurs, mais de capter le signal nerveux d’une intention au niveau du poignet.

IA prédictive et rétroaction haptique

L’idée est aussi de compléter le système de détection des signaux nerveux avec des capacités d’IA prédictive. «L'IA sous-jacente a une certaine idée de ce que vous pourriez vouloir faire à l'avenir», explique Tanya Jonker, responsable scientifique de Facebook Reality Labs. Et d'ajouter que sur la base des comportements passés de l’utilisateur, le système sélectionne les options d’interaction les plus pertinentes qu’il sera possible de confirmer ou de modifier via un micro-geste.

Se projetant encore plus loin, les chercheurs envisagent de compléter cette interface futuriste par un système de rétroaction haptique. Ce dernier transiterait également par des bracelets, via des dispositifs vibro-tactiles et un mécanisme de pression du poignet. Ces sensations haptiques serviraient par exemple à guider l'utilisateur dans l’accomplissement d’une action avec des objets virtuels. Ou encore à signaler de différentes façons la réception d’e-mails en fonction de l’importance de l’émetteur.

Le développement de ces systèmes d’interaction futuriste n’est qu’à ses débuts. Mais les chercheurs de Facebook Reality Labs précisent qu’ils publient leurs avancées également dans le but de susciter le débat concernant les questions d'éthique, de sécurité et de confidentialité que ces projets posent.

Tags
Webcode
DPF8_211508