Gemini sort du cadre et pirate trois entreprises par accident
Un modèle Gemini a accédé aux systèmes de trois entreprises pendant un exercice de cybersécurité. Google estime que l’incident ne relève pas d’un problème d’alignement, car l’IA a interrompu ses intrusions.
Le modèle Gemini de Google a accédé sans autorisation aux systèmes de trois entreprises alors qu’il participait à un exercice de cybersécurité organisé par la société Irregular, révèle le Wall Street Journal (paywall). Selon le quotidien américain, il s’agit du premier cas connu où un système d’IA de Google mène de manière autonome ce type d’intrusion dans des infrastructures réelles.
L’incident s’est produit pendant un exercice de type «capture the flag». Gemini devait récupérer des informations auprès d’une entreprise fictive hébergée dans l’environnement de test d’Irregular. Celle-ci portait toutefois le même nom qu’une entreprise réelle. Une connexion à internet, qui n’aurait pas dû être disponible, avait par ailleurs été laissée accessible.
Dans un premier cas, Gemini a deviné un mot de passe lui permettant d’accéder au service d’une entreprise réelle. Lors de deux autres exécutions du test, le modèle a effectué des recherches sur le web et découvert, dans des dépôts publics, des identifiants appartenant à d’autres sociétés. Il les a ensuite utilisés avec succès.
Google affirme que le modèle a interrompu chaque intrusion dès qu’il a compris qu’il avait accédé à des systèmes réels. Les trois entreprises concernées ont été informées, tout comme les autorités fédérales américaines. Google n’a pas révélé leur identité ni précisé quelle version de Gemini avait participé au test.
Le groupe ne considère pas ces incidents comme un cas de «désalignement» du modèle, estimant que ses mécanismes de sécurité ont fonctionné puisque Gemini s’est arrêté de lui-même. Le Wall Street Journal précise que Jack Cable, CEO de la société de sécurité Corridor, estime en revanche que l’enjeu principal réside dans le fait qu’un agent d’IA soit sorti accidentellement du périmètre prévu et ait mené de véritables cyberattaques.
L’actualité IT en Suisse et à l’international, avec un focus sur la Suisse romande, directement dans votre boîte mail > Inscrivez-vous à la newsletter d’ICTjournal, envoyée du lundi au vendredi!
