La GenAI pourra recourir directement aux données d'Oracle
Oracle appuie sur l'accélérateur dans le domaine de la GenAI, avec des nouveautés qui promettent d’adapter des modèles LLM aux besoins des entreprises. Une solution en bêta fait appel à la Retrieval Augmented Generation (RAG) pour qu’un LLM puisse tirer parti des informations présentes dans les bases de données d’une entreprise.
La firme fondée par Larry Ellison a annoncé la disponibilité générale de son offre Oracle Cloud Infrastructure (OCI) Generative AI. Ce service managé intègre les modèles Cohere et Meta Llama 2 les plus récents qui sont accessibles via des appels API. S’y ajoutent des capacités de gestion des clusters GPU ainsi qu'un support multilingue pour plus de 100 langues, indique le fournisseur aujourd’hui basé au Texas. Avant de préciser que ce service OCI Generative AI, qui répond aux exigences de protection et de contrôle des données, est proposé en mode cloud ou on-premise.
OCI Generative AI Agents
Une annonce parallèle d'Oracle, toujours dans le domaine de la GenAI, concerne le l'offre OCI Generative AI Agents, maintenant disponible en version bêta. Ce service permet d’associer la puissance des LLM intégrés à la pile d’Oracle avec les données de l’entreprise utilisant les systèmes logiciels de la firme. Il ne s'agit pas de «fine-tuning» nécessitant un processus de ré-entraînement des modèles mais d’une solution s’appuyant sur la technique de génération augmentée de récupération (RAG, pour Retrieval Augmented Generation). La version bêta prend en charge OCI OpenSearch mais d’autres outils de recherche et d'agrégation de données seront progressivement supportés.
La Retrieval Augmented Generation (RAG), quèsaco?
Selon les explications d’Oracle, la RAG constitue un moyen d'optimiser les résultats fournis par un LLM avec des ressources de données supplémentaires et ce, rappelons-le, sans réentraînement. Pour une entreprise, il sera ainsi possible d’améliorer les capacités d’un chatbot, par exemple, en lui donnant accès à des bases de données relationnelles, des référentiels de documents non structurés, des flux de données Internet, des flux d'actualités multimédias, des transcriptions audio, des logs de transactions ou des transcriptions de conversations avec des clients.
De l’avis de Ritu Jyoti, analyste chez IDC citée dans le communiqué d’Oracle, la solution OCI Generative AI Agents présente l'avantage de apporte l’IA générative aux workloads des clients et à leurs données, «sans demander aux clients de déplacer leurs données vers une base de données vectorielle distincte.» Oracle, mais aussi Databricks, Microsoft, Nvidia, expliquent dans leur documentation respective que le déploiement de capacités de RAG nécessite en général de convertir le référentiel de données souhaitées, qui seront ensuite stockées dans une base de données vectorielle. Ce dernier type de système a notamment pour atout de fournir la source des données citées dans sa réponse du LLM. «Lorsqu'un utilisateur final effectue une requête, la base de données vectorielle extrait les informations contextuelles pertinentes. Ces informations contextuelles, ainsi que la requête, sont envoyées au grand modèle de langage, qui tire parti du contexte pour créer une réponse plus opportune, précise et contextuelle», résume Oracle.
