L’EPFZ et l’EPFL dévoilent leur propre LLM
Les EPF de Zurich et Lausanne ainsi que le Centre suisse de calcul scientifique développent leur propre grand modèle de langage. Il sera entièrement ouvert et prendra en charge plus de 1000 langues. Le modèle devrait paraître en deux versions à la fin de l’été 2025.
L’initiative «Swiss AI», présentée fin 2023, commence à porter ses premiers fruits. Dans le cadre de cette initiative, les écoles polytechniques fédérales de Lausanne et Zurich, ainsi que le Centre suisse de calcul scientifique (CSCS), développent leur propre grand modèle de langage (LLM). Les derniers tests sont actuellement en cours, avant que les institutions ne prévoient de le publier sous une licence open source à la fin de l’été 2025.
Dans un communiqué, l’EPFZ parle d’un «modèle de langage au service de la société». L’une de ses caractéristiques majeures consiste à être entièrement ouvert: le code source et les poids seront accessibles publiquement et les données d’entraînement seront transparentes et reproductibles, explique l’établissement. Imanol Schlag, chercheur au Centre IA de l’EPFZ et co-responsable du projet LLM, déclare: «Les modèles entièrement ouverts permettent des applications de confiance élevées et sont indispensables pour faire progresser la recherche sur les risques et les opportunités de l’IA. Des processus transparents facilitent également la conformité réglementaire».
L'entraînement du modèle a également respecté les réglementations actuelles. L'EPFZ et l’EPFL mentionnent notamment la loi suisse sur la protection des données, le droit d'auteur suisse et les obligations de transparence dans le cadre du règlement de l'UE sur l'IA (EU AI Act).
Deux versions
Dès le départ, une attention particulière a été portée au multilinguisme du LLM en cours de développement, précise le communiqué: le modèle de base a été entraîné avec un vaste corpus de textes couvrant plus de 1500 langues – environ 60% en anglais et 40% dans d’autres langues – ainsi que des données de code et de mathématiques. Grâce à la représentation de contenus issus de toutes langues et cultures, le modèle final bénéficierait d’une grande applicabilité à l’échelle mondiale. Ainsi, le modèle prend en charge plus de 1000 langues.
Le LLM sera prochainement publié en deux tailles, avec 8 milliards et 70 milliards de paramètres. Le nombre de paramètres reflète la capacité d’un modèle à apprendre et à générer des réponses complexes, rappelle le communiqué. Le grand modèle figurera parmi les plus ouverts et puissants au monde, selon l’EPFZ. Le modèle est entraîné sur le superordinateur «Alps» du CSCS, une infrastructure inaugurée récemment à Lugano.
