Synthèse vidéo

Cette IA réécrit l’histoire et permet de voir Federer gagner Wimbledon 2019

Des chercheurs de Stanford ont créé un algorithme capable de manipuler de vraies vidéos de tennis pour générer des séquences inédites. Le système peut être contrôlé, par exemple pour voir Federer jouer contre lui-même ou gagner la finale de Wimbledon 2019 (en réalité perdue contre Djokovic).

Match d'ouverture de Roger Federer à Wimbledon 2018. (Source: Shep McAllister on Unsplash)
Match d'ouverture de Roger Federer à Wimbledon 2018. (Source: Shep McAllister on Unsplash)

Les fans de Roger Federer en font encore des cauchemars… La finale de Wimbledon 2019 perdue par le Suisse contre Novak Djokovic restera dans les annales. L'homme aux 20 Grands Chelems aurait pu ajouter un neuvième sacre au plus prestigieux des tournois s’il n'avait pas fait des erreurs fatales pendant le tie-break à rallonge du cinquième set. Et si le coup droit de Roger était resté dans les limites du terrain lors de sa première balle de match? A l’Université de Stanford, des chercheurs en intelligence artificielle ont réécrit l’histoire, en créant une séquence vidéo dans laquelle ce fameux coup droit ne sort pas… Et donne donc la victoire à Federer.

Comment le machine learning génère des matchs de tennis inédits

L'algorithme mis au point par les chercheurs est capable de générer de façon assez réaliste des matchs imaginaires entre plusieurs joueurs, ou même entre un joueur et son double. Des séquences publiées sur Youtube (voir la vidéo ci-dessous) montrent notamment Federer jouer contre lui-même ou contre la championne Serena Williams. Le modèle de machine learning a été entraîné à partir de vidéos annotées. Des points graphiques représentent la position du joueur ainsi que l'impact de la balle. L'algorithme apprend ainsi les actions que le joueur réel est susceptible de prendre dans une situation de jeu donnée. En manipulant ensuite la position des points de contrôle alors que le joueur prépare son coup, un système de synthèse vidéo peut convertir les images réelles en séquences inédites. L'algorithme est aussi en mesure de simuler sans aucune intervention humaine des échanges réalistes et correspondant au style de jeu des joueurs.

Une technique qui reste à affiner

«Selon des joueurs de tennis experts, les rallyes [ndlr. longs échanges de coups] générés grâce à notre approche sont nettement plus réalistes en termes de comportement des joueurs que les méthodes de sprites vidéo [ndlr. éléments infographiques indépendants d’un fond] qui ne prennent en compte que la qualité des transitions de mouvement lors de la synthèse vidéo», affirment les chercheurs de Stanford. Leur technique est prometteuse, notamment pour la création vidéoludique, mais doit encore être affinée. Dans les séquences publiées, le public est totalement figé, les joueurs n’ont pas d'ombre et semblent quelque peu flotter au dessus du court.

 

Tags
Webcode
DPF8_186685