SpikingBrain: une IA chinoise inspirée du cerveau humain
Des chercheurs chinois annoncent SpikingBrain, un modèle d’IA basé sur des neurones impulsionnels. Moins gourmand en données, plus rapide à l’entraînement, il défie les LLM traditionnels, tout en étant disponible sous licence libre.
Des chercheurs de l’Institute of Automation, au sein de l’Académie chinoise des sciences, ont présenté SpikingBrain, un nouveau modèle d’intelligence artificielle basé sur des réseaux neuronaux impulsionnels. Selon l'article scientifique publié sur arXiv, cette architecture s’inspire du fonctionnement cérébral: l’information y est transmise sous forme d’impulsions événementielles et non en continu comme dans les grands modèles de langage traditionnels. Cette approche permet de réduire les besoins en ressources tout en améliorant l’efficacité énergétique et la rapidité d’exécution.
Deux modèles testés
Le document scientifique précise que deux modèles ont été développés: SpikingBrain-7B, un modèle de 7 milliards de paramètres reposant sur une architecture linéaire et SpikingBrain-76B, une version hybride de 76 milliards de paramètres construite sur une approche «Mixture of Experts». Selon les auteurs, ces modèles atteignent des performances comparables aux Transformers open source, tout en n’ayant nécessité qu’environ 150 milliards de tokens pour l’entraînement, soit moins de 2% des volumes habituellement mobilisés par les LLM actuels, précise la publication.
Les auteurs constatent des gains notables de performance: sur un prompt de 4 millions de tokens, le modèle SpikingBrain-7B a généré son premier mot plus de cent fois plus rapidement qu’un Transformer classique et jusqu’à 26,5 fois plus vite dans d’autres configurations. Ils ajoutent que la technique de codage impulsionnel utilisée atteint une sparsité de 69%, contribuant à réduire la consommation énergétique. Ils soulignent également que cette architecture n’est pas limitée aux GPU de Nvidia, mais peut exploiter différents types de processeurs, ce qui pourrait réduire la dépendance aux matériels spécialisés.
Applications et publication en open source
Les chercheurs indiquent que leurs travaux visent notamment des applications dans le traitement de longues séquences et dans l’informatique neuromorphique, un domaine qui cherche à rapprocher les architectures artificielles du fonctionnement du cerveau biologique. Le projet a été publié en accès libre sur GitHub afin de favoriser son adoption et ses évolutions par la communauté scientifique.
La recherche neuromorphique mobilise des scientifiques ailleurs qu’en Chine. L’entreprise américaine Intel, par exemple, avait déjà présenté en 2020 Pohoiki Springs, un ordinateur intégrant 100 millions de neurones simulés, soit l’équivalent du système nerveux d’un hamster, conçu pour explorer de nouveaux algorithmes inspirés du cerveau humain.
