Au lieu de médicaments, l’IA peut servir à générer des armes chimiques - des chercheurs tirent la sonnette d’alarme

L’histoire démarre en septembre dernier au Laboratoire de Spiez dans le canton de Berne. Chargé de la protection contre les armes NBC (nucléaire-bactériologique-chimique), le laboratoire fédéral organise la 5ème édition de sa conférence «Convergence» consacrée aux avancées scientifiques et technologiques susceptibles d’avoir un impact sur le contrôle des armements. Spécialisés dans l’utilisation du machine learning pour la découverte de médicaments, les chercheurs de la société Collaborations Pharmaceuticals sont invités à y faire une présentation sur le risque que ces technologies soient détournées pour générer des molécules toxiques.

Récompenser la toxicité plutôt que la pénaliser

Leur entreprise ayant récemment publié des modèles de machine learning permettant de prédire la toxicité dans divers domaines, les trois experts décident pour leur présentation d’explorer de quelle manière ces mêmes modèles pourraient être employés pour concevoir des molécules toxiques. «C'était un exercice de réflexion que nous n'avions pas envisagé auparavant et qui s'est finalement transformé en un proof-of-concept informatique pour la fabrication d'armes biochimiques», expliquent-ils.

Pour leur proof-of-concept, les chercheurs inversent la logique de leurs modèles génératifs. En temps normal, leurs modèles génèrent des molécules ayant la bioactivité recherchée, mais avec le moins de toxicité possible. Pour leur expérience, les chercheurs modifient les modèles qui seront désormais récompensés pour produire des molécules les plus dangereuses, sur la base de la prédiction de leur létalité.

En six heures, leur modèle va générer ainsi 40’000 molécules atteignant le seuil de toxicité «désiré». Parmi les molécules «imaginées» par l’IA, ils retrouvent des agents chimiques bien connus, comme le XV (un agent innervant plus dangereux que le sarin), mais aussi quantité de nouvelles molécules totalement inédites ayant un pronostic de létalité supérieur aux armes connues.

Une technique trop aisée

Face à ce résultat, les chercheurs sont consternés. «En inversant l'utilisation de nos modèles d'apprentissage automatique, nous avions transformé notre modèle génératif inoffensif d'un outil utile à la médecine en un générateur de molécules probablement mortelles», expliquent-ils dans un commentaire publié il y a quelques jours dans Nature Machine Intelligence. Ils alertent sur le risque que le même procédé soit employé par une personne malintentionnée ou qu’une IA opérant tout simplement sans contrôle humain puisse générer des armes chimiques.

Les auteurs du commentaire s’inquiètent aussi et surtout d’un accès trop aisé aux outils qu’ils ont utilisés et du fait que, plus généralement, générer des agents mortels nécessite de moins en moins d’expertise en chimie et devient de plus une tâche de programmation. Les chercheurs, qui n’ont évidemment pas tenté de produire physiquement les agents chimiques, soulignent aussi que ce ne serait pas très compliqué compte tenu des centaines d’entreprises spécialisées dans la chimie synthétique et du peu de règlementation dans le domaine.

Responsabilité des scientifiques

Pour les chercheurs, plus moyen de revenir en arrière, leur découverte étant désormais publique: «Nous pouvons facilement effacer les milliers de molécules que nous avons créées, mais nous ne pouvons pas effacer la connaissance sur la manière de les recréer».

Face au risque de tels usages, ils recommandent que l’emploi des modèles soit mieux contrôlé, que les conférences scientifiques promeuvent le dialogue entre experts sur les implications des outils informatiques, mais aussi que les chercheurs en IA se dotent de code de conduite et analysent l’impact d’un usage alternatif de leurs technologies.

«Nous espérons qu'en sensibilisant le public à cette technologie, nous aurons contribué à démontrer que, bien que l'IA puisse avoir des applications importantes dans le domaine des soins de santé et dans d'autres secteurs, nous devons également rester vigilants face au risque de double usage, comme nous le ferions avec des ressources physiques telles que des molécules ou des produits biologiques», concluent-ils.

> Le commentaire publié dans Nature Machine Intelligence: «Dual use of artificial-intelligence-powered drug discovery»