Les EPF collaborent avec des géants de la tech au sein d’une Red Team dédiée à la GenAI
Au WEF, les EPF et le Département fédéral des affaires étrangères (DFAE) ont annoncé la création du Pilot Gen AI Redteaming Network, en vue de mitiger les risques liés à la GenAI. Cette Red Team qui impliquera des experts d’AWS, Microsoft et Swisscom, entre autres, se focalisera a priori sur les aspects techniques de sécurité et de transparence des données.
Dans le cadre du World Economic Forum de Davos, les écoles polytechniques fédérales ont annoncé la création du Pilot Gen AI Redteaming Network. Soit un réseau de recherche sur l'IA générative qui réunit firmes tech et instituts de recherche publics, dans l'objectif déclaré d'œuvrer à mitiger les risques liés aux outils formés à partir des grands modèles de langage (LLM), typiquement ChatGPT ou Microsoft Copilot.
Ce réseau est né de l'initiative du Swiss Call for Trust & Transparency, une démarche à laquelle prend part le Département fédéral des affaires étrangères (DFAE). En collaboration avec l’EPFL et l'EPFZ, ce dernier a en outre annoncé le lancement du Réseau international de calcul et d'IA (ICAIN), dont l’ensemble des structures organisationnelles devraient toutes être en place d'ici 2025. L’ICAIN s’est donné pour mission de «développer des technologies d'IA qui profitent à la société dans son ensemble, tout en étant accessibles à tous et durables», est-il précisé dans l'annonce de l’EPFL.
AWS, IBM, Microsoft ou encore Swisscom
Concernant le Pilot Gen AI Redteaming Network, l’EPFZ précise dans son annonce que les entreprises privées déjà impliquées sont notamment Aleph Alpha, appliedAI Institute for Europe, AWS, Cohere, Hugging Face, IBM, Microsoft, Roche, SAP, Swisscom, The Global Fund et Zurich Insurance Group. La direction académique de la structure sera assurée en tandem par Florian Tramèr, professeur à l'EPFZ (où il dirige le Secure and Private AI Lab) et Carmela Troncos, professeur associée au Security and Privacy Engineering Laboratory de l'EPFL.
Il est prévu que les firmes tech membres de ce réseau de «red-teaming» partagent avec les chercheurs «des scénarios et des modèles de menace pour les modèles d'IA, afin qu'ils puissent être testés et attaqués pour révéler les vulnérabilités potentielles». Les informations concernant les vecteurs d'attaque et les techniques d'atténuation seront intégrées dans une base de données. «Ces efforts aideront également les régulateurs à mettre au point des tests d'IA efficaces et normalisés», précise encore le communiqué.
Compétences diversifiées dans le Red Team d'OpenAI
Les initiateurs de ce réseau soulignent qu’entreprises et instituts de recherche ont déjà initié des travaux pour atténuer les risques des outils de GenAI, mais ceux-ci seraient encore trop fragmentés. Du côté d’OpenAI (éditeur de ChatGPT), l'analyse des produits avant leur lancement par une équipe d’experts est par exemple déjà une réalité. Alors que le Pilot Gen AI Redteaming Network se focalise essentiellement, selon les éléments du communiqué, sur la sécurité et la transparence des données, on observe qu’OpenAI cherche des compétences bien plus larges pour compléter sa Red Team. Dans une offre d’emplois, OpenAI indique avoir besoin de spécialistes dans des domaines parfois éloignés de l’enseignement des EPF et aussi diversifiés que l'anthropologie, la biologie, la chimie, l’éducation, le législatif, la physique, la sociologie ou encore la santé.
