À Genève, la présidente de Signal alerte sur les menaces posées par les agents IA

Lors d’une intervention au sommet de l’ONU «AI for Good», organisé du 8 au 11 juillet à Genève, Meredith Whittaker, présidente de Signal, a exprimé de vives préoccupations concernant l’émergence des agents IA. Présentés comme des assistants capables d’agir de manière autonome, ces systèmes nécessitent, a-t-elle rappelé, un accès étendu et profond aux données personnelles des utilisateurs. Selon elle, l’industrie cherche à promouvoir les agents IA comme des outils capables de prendre en charge toutes sortes de tâches du quotidien – de la réservation d’un restaurant à l’envoi d’invitations – en suggérant qu’il «n’est plus nécessaire de réfléchir». Cette promesse, de l’avis de Meredith Whittaker, implique une délégation excessive du contrôle numérique. 

Pour accomplir leurs tâches, les agents IA doivent interagir avec une multitude de services – calendriers, navigateurs, cartes bancaires, applications de messagerie – compromettant ainsi la sécurité offerte par des plateformes comme Signal. Meredith Whittaker a expliqué que leur fonctionnement repose sur un accès de niveau root aux systèmes des utilisateurs, comparable à celui qu’aurait un accès administrateur complet, ce qui accroît fortement les risques d’exposition à des failles.

La barrière entre système et applications est brisée

Meredith Whittaker a poursuivi sa discussion avec Kenneth Cukier, rédacteur en chef adjoint à The Economist, en soulignant que Signal est conçu pour fonctionner uniquement au niveau de la couche applicative, sans interaction avec les autres services de l’appareil, contrairement aux agents IA. Elle a comparé ce type d’intégration à une rupture de la barrière entre le cerveau et le sang, pour illustrer le danger d’une fusion entre des couches du système qui devraient rester strictement séparées. La présidente de Signal a rappelé que gouvernements, armées, journalistes, activistes dépendent de cette séparation pour garantir la confidentialité de leurs échanges.

Ancienne chercheuse chez Google et voix critique de l’industrie de la tech, Meredith Whittaker a ensuite mentionné plusieurs risques concrets liés à l’adoption de ces agents IA: exfiltration de données sensibles, vulnérabilités liées à des bibliothèques logicielles obsolètes, manipulation via injection de commandes, ou encore concentration des données au profit d’acteurs puissants. Elle a invité gouvernements, entreprises et citoyens à se poser les bonnes questions sur le fonctionnement et les permissions accordées à ces agents, à exiger des opt-out des développeurs et à renforcer les normes de cybersécurité. A ses yeux, en l’absence de normes plus strictes en matière de sécurité et de transparence, la confidentialité et la sécurité risquent de disparaître des services numériques. 

Ndlr: Cet article s’appuie sur le visionnage en différé de la conférence, disponible sur YouTube.