OpenAI ralentit certains entraînements de ses modèles face au risque cyber (update)
Quelques semaines après l’incident avec Hugging Face, OpenAI a temporairement ralenti la montée en puissance de ses modèles les plus avancés. L’entreprise durcit ses dispositifs de sécurité alors que des résultats préliminaires suggèrent que son futur modèle Astra pourrait atteindre un niveau critique de capacités en cybersécurité.
Mise à jour du 19 août 2026: OpenAI annonce avoir temporairement ralenti la montée en puissance de ses modèles après l’incident survenu avec Hugging Face et face aux capacités cyber potentielles de son futur modèle Astra.
Concrètement, OpenAI affirme avoir suspendu pendant deux semaines l’entraînement par renforcement (RL) de ses derniers modèles destinés à être déployés. Son plus important entraînement RL prévu pour un modèle de pointe reste en suspens. Des entraînements et évaluations à plus petite échelle se poursuivent afin d’évaluer le comportement des modèles, de valider les garde-fous et de recueillir davantage d’éléments sur leur alignement.
OpenAI apporte également de nouveaux détails sur la sécurisation de ses environnements de recherche. L’entreprise indique avoir supprimé certains services partagés potentiellement vulnérables, réduit les privilèges permanents et amélioré la collecte et le suivi des journaux de sécurité. Elle prévoit aussi d’utiliser ses propres modèles pour tester ces barrières en continu au moyen d’attaques simulées.
Une surveillance étendue aux modèles les plus avancés
Le nouveau dispositif de surveillance concerne tous les entraînements RL et les évaluations utilisant des outils pour les modèles présentant des capacités équivalentes ou supérieures à Sol, indique le billet de blog. Il couvre également toutes les inférences d’Astra utilisant des outils.
Des détecteurs inspectent l’activité interne des modèles à chaque token échantillonné et font remonter les signaux potentiellement préoccupants à des systèmes automatisés. Ceux-ci analysent notamment les actions effectuées avec les outils, le raisonnement disponible et la séquence complète des opérations afin de repérer des accès non autorisés, des vols de données, des comportements destructeurs ou des tentatives de contournement des protections.
Lorsqu’une violation probable d’une barrière de sécurité critique est détectée, les équipes chargées de la sûreté, de la sécurité et de la recherche sont alertées. Si elles ne peuvent pas établir dans les 30 minutes qu’il s’agit d’un faux positif, OpenAI prévoit la suspension de l’activité concernée. Selon l’entreprise, ce dispositif représente actuellement un surcoût d’environ 20% du calcul d’inférence surveillé.
L’actualité IT en Suisse et à l’international, avec un focus sur la Suisse romande, directement dans votre boîte mail > Inscrivez-vous à la newsletter d’ICTjournal, envoyée du lundi au vendredi!
News du 4 août 2026: Le test de piratage par IA d’OpenAI dérape et inquiète les responsables politiques
Un modèle d’IA testé par OpenAI est parvenu à effectuer des actions qui n’étaient pas prévues. Lors d’une évaluation de cybersécurité menée dans un environnement très isolé, plusieurs modèles ont identifié puis exploité une vulnérabilité zero day afin d’accéder à Internet. L’un d’eux a ensuite attaqué l’infrastructure de Hugging Face pour récupérer les solutions aux exercices de piratage qu’il était censé résoudre seul.
OpenAI et Hugging Face ont confirmé cet épisode, qui pourrait évoquer un scénario de science-fiction. «Alors qu’ils opéraient dans notre environnement de test en bac à sable, nos modèles ont consacré une quantité importante de calcul d’inférence à trouver un moyen d’obtenir un accès ouvert à Internet, dans le but de résoudre le problème d’évaluation», écrit notamment OpenAI. L’entreprise indique en outre avoir signalé aux organisations concernées, dans le cadre d’une divulgation responsable, la vulnérabilité zero day qui avait permis aux modèles d’accéder au réseau public.
Plutôt que de résoudre directement l’épreuve qui lui était soumise, l’IA d’OpenAI a recouru à des méthodes habituellement associées aux cyberattaques. «Dans un exemple, le modèle a enchaîné plusieurs vecteurs d’attaque, notamment l’utilisation d’identifiants volés et de vulnérabilités zero-day pour trouver un chemin d’exécution de code à distance sur les serveurs de Hugging Face», reconnaît OpenAI.
Entre appels à légiférer et volonté de relativiser
Dans un billet publié sur son blog, OpenAI indique qu’une analyse détaillée de l’incident sera menée avec Hugging Face. L’entreprise affirme avoir renforcé les mesures de sécurité prévues pour les futurs tests et instauré «des contrôles stricts de la configuration de l’infrastructure».
L’incident, survenu à la mi-juillet 2026, a suscité de nombreux commentaires et attiré l’attention des spécialistes comme des responsables politiques. La Tribune de Genève rapporte notamment que deux élus américains ont présenté un projet de loi visant à imposer aux entreprises d’IA des mécanismes d’arrêt d’urgence («kill switch») pour leurs systèmes.
Interrogé par Le Temps (paywall), Cédric Nabe, associé chargé du département Cyber pour la Suisse romande chez Deloitte, relativise toutefois la portée immédiate de l’incident. Les accès sont restés limités, aucun vol de données sensibles n’a été confirmé et les organisations concernées ont été averties. «Ce ne sont pas des catastrophes», estime-t-il. Selon l’expert, les modèles n’ont pas désobéi, mais ont poursuivi l’objectif qui leur avait été fixé en empruntant des chemins que leurs concepteurs n’avaient pas anticipés. «La vraie gravité est ailleurs. Ces systèmes ont atteint des infrastructures réelles alors que personne ne le leur avait demandé», souligne-t-il. Selon lui, l’incident montre que «la capacité de ces outils dépasse désormais celle des environnements censés les contenir».
Pour les entreprises, Cédric Nabe recommande de combiner cloisonnement, droits d’accès limités et supervision humaine. «Les garde-fous fonctionnent, mais aucun n’est absolu», rappelle-t-il. Il préconise également d’appliquer le principe du moindre privilège et de répartir les accès entre plusieurs agents spécialisés, plutôt que de les concentrer dans un système unique.
L’actualité IT en Suisse et à l’international, avec un focus sur la Suisse romande, directement dans votre boîte mail > Inscrivez-vous à la newsletter d’ICTjournal, envoyée du lundi au vendredi!
