Un algorithme de l’EPFL dans la dernière version de PyTorch
PyTorch est l’un des frameworks de machine learning les plus populaires du marché, et sa dernière version intègre un algorithme développé à l’EPFL pour améliorer l’efficacité de l’apprentissage distribué.
De nombreux data scientists vont pourvoir s’appuyer sur une technologie développée à l’EPFL. Sortie il y a quelques jours, la version 1.8 de PyTorch intègre PowerSGD, un algorithme conçu par Thijs Vogels et Sai Praneeth Karimireddy, tous deux doctorants de l’école.
La bibliothèque open source PyTorch est l’un des frameworks de machine learning les plus prisés des data scientists: il fait partie du Top 5 de l’enquête annuelle de Kaggle et, selon l’EPFL, 80% des publications académiques de deep learning s’appuient sur cet outil.
PyTorch est le 4ème framework ML le plus prisé selon l'enquête 2020 de Kaggle auprès de 20'000 utilisateurs.
Communication optimisée dans l’apprentissage distribué
L’algorithme de compression développé par les chercheurs de l’EPFL permet de réduire la communication entre ordinateurs nécessaire aux tâches d’apprentissage distribué. «Lorsqu’il est appliqué aux référentiels de deep learning tels que la reconnaissance d’images ou les modèles de conversion de texte, l’algorithme économise jusqu’à 99% de la communication tout en gardant une précision de modèle correcte», explique l’EPFL.
En activant l’outil au sein de PyTorch, les data scientists devraient ainsi bénéficier d’un apprentissage plus efficace et aussi moins énergivore.
Selon l’EPFL, l’algorithme PowerSGD aurait par ailleurs été employé dans l’impressionnant projet DALL.E qui génère des images à partir de texte et qui été dévoilé récemment par OpenAI.
