Des chercheurs de l’EPFL explorent une alternative au cloud pour l’inférence en IA
Des chercheurs de l’EPFL ont développé un logiciel permettant d’exécuter des modèles d’IA localement, sans recourir aux services cloud de tiers. Baptisée Anyway Systems, cette approche expérimentale explore une alternative à l’inférence centralisée.
Selon un billet de blog publié par l’EPFL, une équipe du Laboratoire d’informatique distribuée explore une alternative à l’inférence en intelligence artificielle fondée sur le cloud. Les chercheurs ont développé un logiciel expérimental, baptisé Anyway Systems, capable d’exécuter localement des modèles d’IA, sans recourir aux services de fournisseurs tiers.
Cette approche s’inscrit dans un contexte où l’utilisation de l’IA pour traiter des données sensibles s’est fortement développée ces trois dernières années, notamment pour des dossiers médicaux, des demandes clients ou des documents professionnels confidentiels, précise l’institution. Dans la plupart des cas, ces usages reposent sur des infrastructures cloud centralisées: les requêtes sont envoyées vers des centres de calcul distants, où les modèles génèrent une réponse avant de la renvoyer à l’utilisateur.
Ce mécanisme, appelé inférence, concentre aujourd’hui l’essentiel de la puissance de calcul liée à l’IA, notamment pour les LLM. L’EPFL souligne que cette concentration repose largement sur des centres de données de grande ampleur, avec des implications en matière de ressources, de confidentialité et de souveraineté numérique.
Exécution locale et coordination des ressources
Avec Anyway Systems, Gauthier Voron, Geovani Rizk et Rachid Guerraoui proposent de traiter les requêtes d’IA directement au sein d’un réseau local, sans passer par des services cloud externes. Le logiciel permet d’exécuter des modèles d’IA open source en coordonnant automatiquement la puissance de calcul de plusieurs machines standards reliées entre elles. Il s’appuie sur des techniques d’auto-stabilisation issues de l’informatique distribuée, conçues pour maintenir le service même en cas de défaillance de certaines machines.
Selon les chercheurs, les LLM open source peuvent ainsi être déployés avec des moyens matériels plus modestes qu’habituellement supposés. Un modèle comme GPT-120B peut être exécuté à l’aide de quatre machines équipées de GPU standards, pour un coût estimé à environ 10’000 francs, là où des infrastructures bien plus lourdes étaient jusqu’ici considérées comme nécessaires. Rachid Guerraoui souligne que cette approche remet en cause l’idée selon laquelle les LLM exigeraient systématiquement des centres de données massifs.
L’exécution locale permet également d’éviter l’envoi de données sensibles vers des services externes, limitant les risques liés à la sécurité et à la réutilisation des informations. Elle répond aussi à des enjeux de souveraineté numérique, en redonnant aux organisations le contrôle de leurs modèles et de leurs infrastructures. Sur le plan environnemental, l’EPFL rappelle que l’inférence représenterait entre 80 et 90% de la puissance de calcul liée à l’IA, contribuant à la multiplication de centres de données énergivores. Des tests pilotes menés avec Anyway Systems montrent une légère augmentation de la latence, sans perte de précision.
Issu de travaux de recherche menés de longue date sur l’informatique distribuée et la tolérance aux pannes, le logiciel a dépassé le stade du prototype, selon le billet de blog. Il est actuellement testé dans des entreprises et des administrations en Suisse. La start-up Anyway Systems a par ailleurs été sélectionnée dans le cadre du Startup Launchpad AI Track, un programme suisse de soutien aux projets en intelligence artificielle, afin d’accompagner son passage vers une mise sur le marché.
