CICERO: une IA qui sait persuader les humains pour parvenir à ses fins

Meta a conçu un système intelligent inédit baptisé CICERO (en référence à l'orateur romain Cicéron). Comme d'autres IA l'ont fait précédemment pour les échecs, Go ou le poker, CICERO est capable de se confronter et de battre des humains au jeu Diplomacy. Et ce n'est pas anodin, car ce jeu de stratégie nécessite «d'utiliser le langage pour négocier, persuader et collaborer avec des personnes pour atteindre des objectifs stratégiques, à la manière des humains». Testé en ligne sur webDiplomacy.net, CICERO a fait deux fois mieux que le score moyen réalisé par les joueurs humains et serait même devenu le partenaire préféré des joueurs, selon Meta.

La firme parle de prouesse, tant le jeu Diplomacy est complexe. A chaque tour de jeu, les joueurs s'échangent des messages puis décident de leur coup. Pour une IA, ce la signifie la capacité de comprendre les motivations et perspectives des autres joueurs, d'échafauder et d'ajuster les stratégies, et surtout de sceller des alliances avec des joueurs humains, simplement en conversant avec eux. CICERO peut par exemple déduire qu'il aura besoin du concours d'un certain joueur plus tard dans la partie, développer une stratégie pour gagner ses faveurs en évaluant sa perspective. «Si un agent ne peut pas reconnaître que quelqu'un est probablement en train de bluffer ou qu’un geste risque d'être considéré comme agressif, il perdra rapidement la partie», souligne Meta sur le billet de blog.

Combinaison inédite de deux technologies

CICERO est un système éminemment complexe. Il se distingue notamment par la combinaison rare de deux techniques d'intelligence artificielle: le raisonnement stratégique (comme les systèmes pour les échecs ou le Go) et le traitement du langage naturel, façon GPT-3 ou LaMDA. Côté conversation, les concepteurs sont partis d'un modèle de langage général (2,7 mia de paramètres) qu'ils ont amélioré en l'entraînant sur des échanges entre joueurs sur webDiplomacy.net. Côté stratégie, les données d'entraînement ont été annotées avec des coups dans le jeu, pour que le système génère des dialogues correspondant aux mouvements qu'il souhaite réaliser. Pour éviter que les décisions de CICERO ne soient stéréotypées et que les autres joueurs n'en profitent, les chercheurs ont également conçu un algorithme qui cherche à prédire la stratégie des autres joueurs sur la base des messages échangés, et ajuste de façon itérative sa propre stratégie sur la base de ces prédictions. Enfin, pour gagner en efficacité, CICERO sait parler dans un langage persuasif et révéler le cas échéant ses intentions, en expliquant par exemple à son interlocuteur ce qu'ils gagneraient tous deux avec le mouvement proposé.

"Bonne vieille IA"

Pour Gary Marcus, le système CICERO est une merveille d'intégration du langage et de l'action. Un compliment rare chez cette figure de l'IA très critique à l'égard des développements actuels. «De manière frappante, et en opposition à une grande partie de l'esprit du temps, Cicero s'appuie fortement sur l'artisanat, à la fois dans les ensembles de données et dans l'architecture; en ce sens, il rappelle davantage la "bonne vieille IA" classique que les systèmes d'apprentissage profond qui ont tendance à être moins structurés et moins adaptés à des problèmes particuliers. Il y a beaucoup plus d'innéité ici que ce que nous avons généralement vu dans les systèmes d'IA récents», explique Marcus sur son blog.

Ingénierie sociale

CICERO pose toutefois la question de l'ingénierie sociale. Sur Twitter, ses concepteurs se félicitent que les joueurs aient été dupés croyant converser avec un humain. Et dans leur blog, ils imaginent des usages innovants de leur système, comme la capacité de converser avec une personne pour lui enseigner une compétence, ou de faire qu'un jeu vidéo comprenne les motivations des joueurs et les aide à accomplir leur mission.

Mais on pourrait aussi imaginer des usages moins vertueux, comme de déployer des bots capables de mener des conversations sur les réseaux sociaux pour convaincre les gens d'acheter tel ou tel produit, de voter pour un certain candidat, de se faire vacciner ou au contraire de refuser la vaccination, etc. On pourrait aussi imaginer des IA qui trompent les utilisateurs sur leurs intentions ou sur la précision de leur pronostic si cela sert l'objectif pour lequel elles ont été programmées...

Cicéron ou Machiavel?

Les capacités de CICERO ont aussi de quoi préoccuper à plus long terme. Les systèmes intelligents étant dépourvus de bon sens, certains spécialistes dont Stuart Russell s'inquiètent en effet qu'en voulant bien faire, les IA ne prennent des décisions impensables et dévastatrices. Leur solution serait de faire en sorte que les IA dialoguent avec les humains, qu'elles s'assurent qu'elles ont bien compris ce qu'on leur demande, et qu'avant d'agir elles expliquent ce qu'elles ont l'intention de faire. Dans ce contexte, la capacité qu'a CICERO de persuader ses interlocuteurs pour arriver à ses fins n'est pas forvémnet souhaitable...