Bloomberg élabore un modèle type ChatGPT ultra spécialisé en finance

Bloomberg développe son propre LLM (grand modèle de langage). Dans son annonce, le groupe spécialisé dans l'information économique affirme que son IA générative, baptisée BloombergGPT, surpasse les modèles comparables sur les tâches de traitement du langage dans le domaine de la finance. 

Un modèle entraîné avec plusieurs centaines de milliards de données

Bloomberg explique que le vocabulaire particulier et la complexité du domaine financier nécessitent un modèle spécifique au domaine. Dans un papier de recherche, les chercheurs de l'entreprise et de l'université Johns Hopkins expliquent que pour mettre au point la première version de leur modèle, ce dernier a été nourri d’une masse de données impressionnantes (documents financiers, actualités, dépôts, communiqués de presse, médias sociaux) tirés des archives de Bloomberg. 

Les activités de collecte d’information financière du groupe, initiées voici quatre décennies, lui ont permis de nourrir l’IA générative d’un ensemble de 363 milliards de tokens (unités de base du texte ou du code qu'une IA LLM utilise pour traiter et générer du langage). A quoi s'ajoutent des ensembles de données publiques, pour au final créer un vaste corpus de formation comprenant plus de 700 milliards de tokens. Le modèle ultra spécialisé ainsi créé possède pas moins de 50 milliards de paramètres (à titre de comparaison, GPT-4 en aurait 1000 milliards, chiffre non confirmé par OpenIA). 

Catégorisation des nouvelles et réponses à des requêtes

L’entreprise d’informations financières indique que BloombergGPT va l’aider, notamment, dans l'analyse des sentiments, l'identification des entités nommées, la catégorisation des nouvelles et dans la fourniture de réponses à des requêtes. «BloombergGPT nous permettra d'aborder de nombreux nouveaux types d'applications, tout en offrant des performances prêtes à l'emploi bien supérieures à celles des modèles sur mesure pour chaque application, avec un délai de mise sur le marché plus court», confie Shawn Edwards, directeur de la technologie chez Bloomberg. 

A la suite d’une série de tests, créés en interne mais aussi des benchmarks disponibles publiquement, Bloomberg affirme que son modèle GPT fait maison «surpasse largement les modèles ouverts existants de taille similaire dans les tâches financières, tout en obtenant des performances égales ou supérieures dans les tests de référence NLP généraux».