Un modèle d’Anthropic invente un faux signalement de meurtre et l’envoie à la police
Lors d’un test interne, un modèle d’IA d’Anthropic a envoyé à la police de Philadelphie un faux signalement concernant un homicide non résolu. L’incident, découvert plus de deux mois plus tard, relance les questions sur les garde-fous appliqués aux agents capables d’interagir avec le web.
Un modèle d’IA d’Anthropic a envoyé à la police de Philadelphie un faux signalement concernant un homicide non résolu. Selon un rapport publié par l’entreprise le 9 octobre, Claude Haiku 4.5 participait alors à un test durant lequel il devait générer et exécuter des exemples d’interactions avec des pages web choisies au hasard.
Après être tombé sur une page permettant de transmettre des informations sur une affaire non élucidée, le modèle a affirmé avoir aperçu une personne correspondant à une description dans le secteur concerné. Anthropic relève pourtant que le site ne fournissait aucune description du suspect. Claude a laissé vides les champs consacrés au nom et aux coordonnées, puis a envoyé le formulaire.
Selon un communiqué de la police de Philadelphie, relayé par la chaîne locale 6abc, le faux signalement a été envoyé le 18 juillet via PhillyUnsolvedMurders.com. Classé comme spam, il n’a jamais été transmis au Real-Time Crime Center pour examen. Le département précise également n’avoir constaté aucun accès non autorisé à ses systèmes ni compromission de ses données.
La police critique le délai de signalement
Anthropic n’a découvert l’incident que le 28 septembre et en a informé la police le 7 octobre. «Le délai de deux mois pour détecter et signaler l’incident à la Ville est inacceptable», estime le département, qui demande à Anthropic de renforcer ses garde-fous.
La police souligne que ses propres procédures ont limité les conséquences du faux signalement, tout renseignement devant être examiné par un humain avant d’être transmis aux enquêteurs. Elle relève néanmoins que ces garde-fous «n’enlèvent rien à la gravité du fait qu’un système d’IA présente des informations inventées comme si elles provenaient d’une personne ayant connaissance d’un homicide».
Anthropic estime de son côté que Claude semblait produire un exemple dans le cadre de la tâche qui lui avait été confiée, «plutôt que chercher à tromper quelqu’un pour atteindre un objectif». L’entreprise relève que les instructions interdisaient plusieurs actions, mais pas explicitement l’envoi d’un formulaire.
Selon la police de Philadelphie, Anthropic a interrompu le processus automatisé à l’origine de l’incident et ajouté un mécanisme de validation supplémentaire pour ses futurs tests.
D’autres limites contournées par Claude
Le faux signalement fait partie d’une série de comportements non souhaités détaillés par Anthropic dans son rapport. L’entreprise indique avoir observé des modèles exploiter des failles logicielles ou contourner des restrictions d’accès à certaines données.
Des cas similaires avaient déjà été observés avec des modèles d’Anthropic. En août, une IA avait créé de fausses identités et envoyé des e-mails de phishing lors d’un test de cybersécurité. Quelques jours plus tard, un agent utilisant Claude avait exploité de lui-même une faille dans un système de réservation.
Anthropic rattache plusieurs de ces incidents à ce qu’elle décrit comme une forme de persévérance: lorsqu’un modèle rencontre un obstacle, il peut chercher un autre moyen d’accomplir sa tâche plutôt que de s’arrêter. Au-delà des mesures prises pour le test ayant conduit au faux signalement, l’entreprise indique avoir par ailleurs étendu la suppression de l’accès direct à internet à l’ensemble de ses évaluations internes.
L’actualité IT en Suisse et à l’international, avec un focus sur la Suisse romande, directement dans votre boîte mail > Inscrivez-vous à la newsletter d’ICTjournal, envoyée du lundi au vendredi!
