Nvidia introduit un chatbot personnel et local pour les utilisateurs PC

Nvidia annonce le lancement de Chat with RTX, une application qui permet aux utilisateurs de PC Windows de personnaliser un chatbot en utilisant leur propre contenu, sans dépendre de serveurs cloud. Cet outil gratuit, présenté comme un logiciel de démonstration par Nvidia, fonctionne sur les PC équipés de GPU de la série RTX 30 ou d'une version plus récente. Le fabricant de puces graphiques met en avant le fait que les données de l'utilisateur restent sur leur appareil, évitant ainsi le partage de données sensibles.

Conçu pour faciliter l'accès à l'information, Chat with RTX fait appel la technologie Retrieval Augmented Generation (RAG), au logiciel NVIDIA TensorRT-LLM et aux capacités d'accélération matérielle des unités RTX. Les utilisateurs peuvent ainsi connecter rapidement leurs fichiers locaux à des modèles linguistiques open source tels que Mistral ou Llama 2. Avec la promesse d’obtenir des réponses rapides et contextuelles. Par exemple, avec la question «Quel était le restaurant recommandé par mon partenaire quand nous étions à Las Vegas?», Chat with RTX analysera les fichiers locaux et fournira une réponse pertinente, illustre l’annonce de Nvidia. 

L'outil prend en charge une variété de formats de fichiers, tels que .txt, .pdf, .doc/.docx et .xml, et peut également inclure des informations provenant de vidéos et de listes de lecture YouTube. 

Cet outil de démonstration présente toutefois des limites, fait observer la newsletter spécialisée AlphaSignal. Notamment des problèmes d'attribution de la source, des réponses sans contexte et des pannes avec des ensembles de données volumineux. En outre, l'installation est assez gourmande en ressources: elle nécessite 40 Go d'espace disque et consomme environ 3 Go de mémoire vive.