Meta introduit un modèle de langage pas si géant ciblant les chercheurs
Meta annonce son propre modèle de traitement du langage. Il ne s'agit toutefois pas d’un potentiel concurrent à ChatGPT mais d’un modèle nécessitant moins de ressources, destiné à la recherche académique.
Meta a annoncé la mise à disposition d’un modèle de langage géant à la sauce ChatGPT, baptisé LLaMA (Large Language Model Meta AI). Toutefois, la maison mère de Facebook veut a priori se différencier de la stratégie suivie par Microsoft ou par Google (qui pour certains de leurs produits ont commencé à puiser dans les capacités de ChatGPT). Meta positionne en effet LLaMA comme un modèle linguistique destiné à aider les universitaires à mener leurs travaux dans cette discipline.
Dans son annonce, le groupe dirigé par Mark Zuckerberg fait observer que l'accès complet à ce genre de modèles reste limité, réduisant ainsi les possibilités de résoudre les problèmes inhérents à ces technologies (biais, toxicité, fausses informations…). Selon Meta, le milieu de la recherche manque de ressources et de capacités nécessaires à l'entraînement de modèle géant de traitement du langage.
Modèle réduit
LLaMA est rendu disponible en plusieurs tailles, c'est- à-dire reposant sur un nombre différent de paramètres (7 milliards, 13 milliards, 33 milliards et 65 milliards). A titre de comparaison, le modèle GPT-3 d’OpenAI repose sur 175 milliards de paramètres et, selon la rumeur, GPT-4 aura plus de 100 trillions de paramètres.
LLaMA est donc bien plus petit que les modèles de langage considérés comme les plus performants. Meta explique toutefois que la taille de son modèle est un avantage pour l’usage auquel il se destine. Soulignant que son entraînement nécessite beaucoup moins de puissance de calcul et de ressources pour tester de nouvelles idées, vérifier le travail des autres et explorer de nouveaux cas d'utilisation.
