L'EPFL s'inspire du cerveau humain pour concevoir un LLM au raisonnement plus transparent
Des chercheurs de l’EPFL ont développé MiCRo, un LLM structuré en modules spécialisés. Inspirée du cerveau humain, cette architecture devrait offrir davantage de contrôle et de transparence sur le raisonnement de l’IA.
Une équipe de l'EPFL a mis au point un grand modèle de langage dont l'architecture s'inspire de l'organisation du cerveau humain. Baptisé MiCRo, pour Mixture of Cognitive Reasoners, ce modèle vise à rendre le raisonnement des LLM plus contrôlable et plus transparent, indique l'institution. Développé par le Natural Language Processing Lab et le NeuroAI Lab de l'EPFL, en collaboration avec la neuroscientifique Greta Tuckute, de Harvard et du MIT, le modèle répartit le traitement des requêtes entre plusieurs modules spécialisés inspirés de différentes régions du cerveau.
Les LLM classiques s'appuient sur les connaissances acquises durant leur entraînement pour générer leurs réponses. En revanche, la manière dont ils sélectionnent les informations utiles et attribuent un poids aux différents éléments mobilisés reste souvent difficile à interpréter, fait observer l’EPFL dans son annonce.
Pour répondre à cette limite, MiCRo est divisé en quatre domaines spécialisés, appelés «experts»: le langage, la logique, le raisonnement social et la connaissance du monde. Inspirée de cette spécialisation, son architecture répartit chaque couche entre ces quatre experts. Pour chaque mot d'une phrase, un routeur sélectionne l'expert le plus adapté. Une même requête peut ainsi mobiliser plusieurs experts à différents niveaux du modèle.
«Le cerveau est organisé en régions spécialisées, chacune étant adaptée pour gérer une fonction spécifique. Cette division du travail n'apparaît pas de façon aussi claire dans les modèles de langage actuels», explique Badr AlKhamissi, doctorant à l'EPFL et responsable de ces travaux.
Selon l'EPFL, cette architecture rend le fonctionnement du modèle plus lisible et permet d'agir directement sur la manière dont il traite une requête, par exemple en renforçant l'influence de l'expert social ou en limitant celle de l'expert logique selon le contexte d'usage. Dans les LLM classiques, ce type d'ajustement passe généralement par des prompts. Avec MiCRo, l'intervention s'effectue directement au niveau de l'architecture.
Un dialogue entre IA et neurosciences
Pour développer MiCRo, les chercheurs se sont appuyés sur des travaux en neurosciences afin d'identifier les régions cérébrales activées par différents types de tâches. Les chercheurs de l'EPFL ont ensuite transposé cette logique au modèle pour observer quels experts s'activaient face à des tâches plus exigeantes.
«Le modèle a été capable d'identifier ces experts de lui-même», explique Badr AlKhamissi. Selon le chercheur, cette approche pourrait également aider les neuroscientifiques à mieux comprendre le rôle des différentes régions cérébrales dans certaines tâches.
L’actualité IT en Suisse et à l’international, avec un focus sur la Suisse romande, directement dans votre boîte mail > Inscrivez-vous à la newsletter d’ICTjournal, envoyée du lundi au vendredi!
