Runway étend son expertise de la vidéo générative à la robotique
Runway dévoile Praxis-1, son premier modèle d’action pour robots à poids ouverts. Entraîné à partir de vidéos à grande échelle, il marque une nouvelle étape dans la diversification de l’entreprise au-delà de la génération vidéo, vers les «world models» et la robotique. Une sortie publique est prévue dans les prochains mois.
Connu pour ses outils de génération vidéo à partir de prompts textuels, Runway élargit désormais son terrain de jeu à la robotique. L’entreprise annonce Praxis-1, son premier modèle d’IA destiné au contrôle de robots, qui s’appuie sur les techniques de préentraînement développées pour ses «world models».
Cette évolution s’inscrit dans une diversification engagée depuis plusieurs mois. TechCrunch relevait en mai que Runway cherchait déjà à dépasser son positionnement historique dans la génération vidéo pour développer des modèles capables d’apprendre et de simuler le fonctionnement du monde à partir de données visuelles. L’entreprise avait lancé son premier «world model» fin 2025 et dispose également d’une unité consacrée à la robotique.
Praxis-1 applique désormais cette approche au contrôle robotique. A partir de grandes quantités de vidéos, le modèle apprend notamment le comportement des objets, les mouvements et le déroulement d’une tâche, avant d’exploiter ces connaissances pour contrôler des robots, selon Runway.
Cette approche vise notamment à répondre au manque de données nécessaires à l’entraînement de modèles de contrôle robotique généralistes. Selon l’entreprise, les démonstrations obtenues par téléopération deviennent coûteuses à collecter lorsqu’il faut couvrir de nombreuses situations et cas limites, tandis que les vidéos du monde réel sont disponibles dans des volumes bien plus importants.
L’entreprise indique que les performances de ses modèles de contrôle robotique s’améliorent lorsqu’ils sont préentraînés sur un volume croissant de vidéos filmées à la troisième personne. Dans un test comparant des vidéos issues du web à des enregistrements de robots téléopérés, l’erreur finale de placement atteint respectivement 16,1 et 16 centimètres après ajustement du modèle. Runway précise que cette différence n’est pas statistiquement significative. L’entreprise indique également que les performances observées lorsque ses modèles robotiques sont testés en simulation correspondent étroitement à celles obtenues dans le monde réel, avec une corrélation de 0,95.
Des tests sur plusieurs types de robots
Runway présente Praxis-1 comme un modèle robotique généraliste conçu pour fonctionner avec différents types de robots et dans des environnements variés. Il est notamment montré en train d’exécuter des tâches en plusieurs étapes, comme s’approcher d’une étagère, saisir un objet puis le déplacer.
Les démonstrations couvrent aussi des situations plus complexes qui, selon Runway, mettent en difficulté les modèles robotiques entraînés uniquement à partir de démonstrations, notamment lorsque plusieurs objets se ressemblent, que certains sont partiellement masqués ou transparents, ou qu’il s’agit de matériaux déformables comme le tissu.
Ces capacités sont désormais testées sur plusieurs plateformes matérielles. Noble Machines, Standard Bots et Ultra exécutent Praxis-1 sur leurs propres équipements, allant de systèmes de manipulation à deux bras à un bras robotique à six degrés de liberté et une plateforme mobile. Runway affirme par ailleurs avoir utilisé le même modèle de contrôle dans un studio contrôlé puis dans une cuisine domestique sans nouvel entraînement.
La publication du modèle est prévue dans les prochains mois. Praxis-1 sera distribué avec ses poids ouverts, tandis qu’un accès anticipé est proposé d’ici là à d’autres partenaires souhaitant le tester sur leur propre matériel.
L’actualité IT en Suisse et à l’international, avec un focus sur la Suisse romande, directement dans votre boîte mail > Inscrivez-vous à la newsletter d’ICTjournal, envoyée du lundi au vendredi!
