Les agents IA incontrôlés d’OpenAI font de nouvelles vagues (update)
Après l’incident impliquant Hugging Face, OpenAI enquête sur l’ampleur des activités de ses agents IA. L’entreprise a désormais informé plus de 100 organisations d’incidents liés à des activités non autorisées et examine quelque 50 pétaoctets de données. Parallèlement, OpenAI s’est séparé de trois chercheurs en sécurité.
Mise à jour du 5 octobre 2026: OpenAI poursuit son enquête sur les actions menées par ses agents IA lors de tests internes. Selon Reuters, l’entreprise a désormais informé plus de 100 organisations d’incidents liés à des activités non autorisées de ses agents IA. Ces investigations ont été lancées dans le prolongement de l’incident impliquant Hugging Face.
Pour évaluer l’étendue de ces activités, OpenAI passe au crible environ 50 pétaoctets de données, rapporte l’agence de presse. L’entreprise avait déjà prévenu que ce travail pourrait prendre plusieurs mois. L’incident impliquant Hugging Face reste le cas le plus grave d’activité incontrôlée de ses agents IA identifié à ce jour par OpenAI.
OpenAI se sépare de trois chercheurs en sécurité
Parallèlement, OpenAI s’est séparé de trois chercheurs qui travaillaient au sein de l’équipe de sécurité de l’entreprise, selon le Wall Street Journal. Ils sont accusés d’avoir transmis des informations confidentielles de l’entreprise à une organisation externe spécialisée dans la sécurité de l’IA.
OpenAI a confirmé le départ des trois personnes, rapporte le quotidien. Une enquête interne aurait conclu qu’elles avaient enfreint les règles de l’entreprise concernant l’accès à des informations sensibles et leur traitement.
Ces départs interviennent alors qu’OpenAI fait face à plusieurs problèmes de sécurité concernant ses systèmes d’IA. Outre les incidents impliquant ses agents IA, l’entreprise a récemment renoncé au lancement public de GPT-6.1 Astra. Des tests internes avaient montré que le modèle ne répondait pas entièrement aux exigences d’OpenAI en matière de sécurité et d’alignement.
L’actualité IT en Suisse et à l’international, avec un focus sur la Suisse romande, directement dans votre boîte mail > Inscrivez-vous à la newsletter d’ICTjournal, envoyée du lundi au vendredi!
News du 19 août 2026: OpenAI annonce avoir temporairement ralenti la montée en puissance de ses modèles après l’incident survenu avec Hugging Face et face aux capacités cyber potentielles de son futur modèle Astra.
Concrètement, OpenAI affirme avoir suspendu pendant deux semaines l’entraînement par renforcement (RL) de ses derniers modèles destinés à être déployés. Son plus important entraînement RL prévu pour un modèle de pointe reste en suspens. Des entraînements et évaluations à plus petite échelle se poursuivent afin d’évaluer le comportement des modèles, de valider les garde-fous et de recueillir davantage d’éléments sur leur alignement.
OpenAI apporte également de nouveaux détails sur la sécurisation de ses environnements de recherche. L’entreprise indique avoir supprimé certains services partagés potentiellement vulnérables, réduit les privilèges permanents et amélioré la collecte et le suivi des journaux de sécurité. Elle prévoit aussi d’utiliser ses propres modèles pour tester ces barrières en continu au moyen d’attaques simulées.
Une surveillance étendue aux modèles les plus avancés
Le nouveau dispositif de surveillance concerne tous les entraînements RL et les évaluations utilisant des outils pour les modèles présentant des capacités équivalentes ou supérieures à Sol, indique le billet de blog. Il couvre également toutes les inférences d’Astra utilisant des outils.
Des détecteurs inspectent l’activité interne des modèles à chaque token échantillonné et font remonter les signaux potentiellement préoccupants à des systèmes automatisés. Ceux-ci analysent notamment les actions effectuées avec les outils, le raisonnement disponible et la séquence complète des opérations afin de repérer des accès non autorisés, des vols de données, des comportements destructeurs ou des tentatives de contournement des protections.
Lorsqu’une violation probable d’une barrière de sécurité critique est détectée, les équipes chargées de la sûreté, de la sécurité et de la recherche sont alertées. Si elles ne peuvent pas établir dans les 30 minutes qu’il s’agit d’un faux positif, OpenAI prévoit la suspension de l’activité concernée. Selon l’entreprise, ce dispositif représente actuellement un surcoût d’environ 20% du calcul d’inférence surveillé.
L’actualité IT en Suisse et à l’international, avec un focus sur la Suisse romande, directement dans votre boîte mail > Inscrivez-vous à la newsletter d’ICTjournal, envoyée du lundi au vendredi!
News du 4 août 2026: Le test de piratage par IA d’OpenAI dérape et inquiète les responsables politiques
Un modèle d’IA testé par OpenAI est parvenu à effectuer des actions qui n’étaient pas prévues. Lors d’une évaluation de cybersécurité menée dans un environnement très isolé, plusieurs modèles ont identifié puis exploité une vulnérabilité zero day afin d’accéder à Internet. L’un d’eux a ensuite attaqué l’infrastructure de Hugging Face pour récupérer les solutions aux exercices de piratage qu’il était censé résoudre seul.
OpenAI et Hugging Face ont confirmé cet épisode, qui pourrait évoquer un scénario de science-fiction. «Alors qu’ils opéraient dans notre environnement de test en bac à sable, nos modèles ont consacré une quantité importante de calcul d’inférence à trouver un moyen d’obtenir un accès ouvert à Internet, dans le but de résoudre le problème d’évaluation», écrit notamment OpenAI. L’entreprise indique en outre avoir signalé aux organisations concernées, dans le cadre d’une divulgation responsable, la vulnérabilité zero day qui avait permis aux modèles d’accéder au réseau public.
Plutôt que de résoudre directement l’épreuve qui lui était soumise, l’IA d’OpenAI a recouru à des méthodes habituellement associées aux cyberattaques. «Dans un exemple, le modèle a enchaîné plusieurs vecteurs d’attaque, notamment l’utilisation d’identifiants volés et de vulnérabilités zero-day pour trouver un chemin d’exécution de code à distance sur les serveurs de Hugging Face», reconnaît OpenAI.
Entre appels à légiférer et volonté de relativiser
Dans un billet publié sur son blog, OpenAI indique qu’une analyse détaillée de l’incident sera menée avec Hugging Face. L’entreprise affirme avoir renforcé les mesures de sécurité prévues pour les futurs tests et instauré «des contrôles stricts de la configuration de l’infrastructure».
L’incident, survenu à la mi-juillet 2026, a suscité de nombreux commentaires et attiré l’attention des spécialistes comme des responsables politiques. La Tribune de Genève rapporte notamment que deux élus américains ont présenté un projet de loi visant à imposer aux entreprises d’IA des mécanismes d’arrêt d’urgence («kill switch») pour leurs systèmes.
Interrogé par Le Temps (paywall), Cédric Nabe, associé chargé du département Cyber pour la Suisse romande chez Deloitte, relativise toutefois la portée immédiate de l’incident. Les accès sont restés limités, aucun vol de données sensibles n’a été confirmé et les organisations concernées ont été averties. «Ce ne sont pas des catastrophes», estime-t-il. Selon l’expert, les modèles n’ont pas désobéi, mais ont poursuivi l’objectif qui leur avait été fixé en empruntant des chemins que leurs concepteurs n’avaient pas anticipés. «La vraie gravité est ailleurs. Ces systèmes ont atteint des infrastructures réelles alors que personne ne le leur avait demandé», souligne-t-il. Selon lui, l’incident montre que «la capacité de ces outils dépasse désormais celle des environnements censés les contenir».
Pour les entreprises, Cédric Nabe recommande de combiner cloisonnement, droits d’accès limités et supervision humaine. «Les garde-fous fonctionnent, mais aucun n’est absolu», rappelle-t-il. Il préconise également d’appliquer le principe du moindre privilège et de répartir les accès entre plusieurs agents spécialisés, plutôt que de les concentrer dans un système unique.
L’actualité IT en Suisse et à l’international, avec un focus sur la Suisse romande, directement dans votre boîte mail > Inscrivez-vous à la newsletter d’ICTjournal, envoyée du lundi au vendredi!
