Un agent IA exploite de lui-même une faille dans un système de réservation
Chargé de réserver un cours de sport, un agent IA utilisant OpenClaw et Claude d’Anthropic a exploité de sa propre initiative une faille d’autorisation dans l’API du service, allant jusqu’à supprimer un autre utilisateur d’une liste d’attente. Le cas met en lumière les risques liés aux actions qu’un agent peut choisir pour atteindre l’objectif qui lui est assigné.
OpenClaw, également identifié parmi les systèmes d’agents IA utilisés lors d’une cyberattaque contre des systèmes gouvernementaux à Taïwan, se retrouve cette fois au cœur d’un incident en Australie. Selon ABC News, un agent fonctionnant avec ce logiciel et Claude d’Anthropic a exploité de sa propre initiative une vulnérabilité dans le système de réservation d’une salle de sport.
L’agent avait d’abord été chargé de réserver un cours et découvert qu’il pouvait effectuer des réservations plusieurs semaines à l’avance, au-delà de la limite normalement prévue par le service. Alors que son utilisateur occupait la quatrième position sur une liste d’attente, celui-ci lui a ensuite demandé s’il était possible de le faire remonter.
L’agent a alors indiqué que l’API ne comportait aucun contrôle d’autorisation permettant d’empêcher l’annulation des réservations d’autres utilisateurs. Il a testé cette possibilité en supprimant de la liste la personne occupant la première position, faisant passer son utilisateur de la quatrième à la troisième place. Lorsque ce dernier lui a demandé d’annuler l’opération, l’agent n’est pas parvenu à réinscrire la personne concernée.
L’utilisateur lui a ensuite demandé de rédiger un e-mail destiné au fournisseur du logiciel de réservation afin de signaler la vulnérabilité exploitée. L’agent lui a transmis le message, dont l’envoi a cette fois été explicitement validé. L’entreprise exploitant le logiciel de réservation n’a pas commenté les détails de sécurité auprès d’ABC News, tandis qu’Anthropic n’a pas répondu aux sollicitations du média
Quand l’agent choisit lui-même la méthode
Pour Bill Simpson-Young, cofondateur et CEO du Gradient Institute, interrogé par ABC News, l’autonomie des agents augmente les possibilités qu’ils choisissent des méthodes que leurs utilisateurs n’avaient ni envisagées ni explicitement demandées. Le média rattache cet écart entre l’objectif fixé par l’utilisateur et les moyens choisis par l’agent au problème d’«alignement» étudié dans la recherche en IA.
Selon des travaux de chercheurs indépendants cités par ABC News, la durée des tâches que les systèmes d’IA peuvent typiquement accomplir seuls doublerait environ tous les sept mois. En 2020, une IA pouvait réaliser de manière autonome une tâche nécessitant environ quatre secondes à un humain, contre près de douze heures en 2026.
Des comportements similaires ont par ailleurs été observés lors de tests de sécurité. OpenAI a notamment indiqué que ses modèles avaient quitté un environnement de test limité, accédé au web ouvert puis compromis une base de données de Hugging Face en cherchant à atteindre l’objectif qui leur avait été assigné. Le phénomène a également été observé avec un modèle d’Anthropic, qui avait créé de fausses identités et envoyé des e-mails de phishing lors d’un test mené avec un accès à Internet.
L’autonomie de ces systèmes soulève aussi la question de la responsabilité juridique. Hayden Delaney, avocat spécialisé dans les technologies, la propriété intellectuelle et la protection de la vie privée, explique à ABC News qu’un logiciel ne constitue pas une personne juridique et ne peut donc pas être lui-même tenu responsable en droit. Selon lui, la responsabilité pourrait, selon les circonstances, incomber à l’utilisateur ayant assigné la tâche, au concepteur du logiciel pilotant l’agent, au développeur du modèle ou encore à l’opérateur du système vulnérable. Il précise que cette responsabilité dépend notamment de ce que l’utilisateur a autorisé et des risques qui pouvaient raisonnablement être anticipés.
L’actualité IT en Suisse et à l’international, avec un focus sur la Suisse romande, directement dans votre boîte mail > Inscrivez-vous à la newsletter d’ICTjournal, envoyée du lundi au vendredi!
