NVIDIA vient de publier une version d�mo de Chat With RTX, une application qui vous permet de faire fonctionner un chatbot d�intelligence artificielle sur votre PC. Le logiciel exploite les c�urs Tensor-RT int�gr�s dans les GPU de jeu de NVIDIA (vous aurez besoin d'une carte RTX 30 ou 40 pour l'utiliser) et utilise de grands mod�les de langage (LLM) pour fournir des informations utiles sur vos propres donn�es.La principale diff�rence est que, contrairement � ChatGPT et Copilot, Chat with RTX fonctionne enti�rement sur votre PC et n'envoie aucune donn�e � un serveur cloud. Vous lui fournissez l'ensemble de donn�es pertinent et il vous propose des r�ponses bas�es sur les informations qu'il contient. Autre fonctionnalit� int�ressante : vous pouvez partager des liens YouTube, et Chat with RTX interpr�te le contenu de la vid�o et r�pond aux questions - en puisant dans les donn�es du fichier de sous-titrage.
Chat With RTX est enti�rement bas� sur le texte, et il est �entra�n� sur une grande base de donn�es de documents publics appartenant � NVIDIA lui-m�me. Dans sa forme brute, le mod�le peut ��crire� assez bien, mais ses connaissances r�elles semblent �tre extr�mement limit�es.
NVIDIA a d�voil� une nouvelle application d'intelligence artificielle qui apporte des fonctionnalit�s avanc�es de chatbot directement sur les ordinateurs personnels des utilisateurs. Baptis� "Chat with RTX", ce logiciel exploite les puissants GPU GeForce RTX de NVIDIA pour traiter le langage naturel en temps r�el sans n�cessiter de connexion au cloud.
Chat with RTX installe un serveur Python local et une interface web pour traiter les requ�tes. Une fois install�s, les utilisateurs peuvent saisir des URL de vid�os YouTube, des documents personnels et d'autres fichiers pour que le chatbot les analyse. Il peut rechercher des mots-cl�s dans les transcriptions, r�sumer des vid�os ou des textes, etc.
� Chat with RTX utilise la g�n�ration augment�e par r�cup�ration (RAG), le logiciel Nvidia TensorRT-LLM et l'acc�l�ration Nvidia RTX pour apporter des capacit�s d'IA g�n�rative aux PC Windows �quip�s de GeForce. Les utilisateurs peuvent rapidement et facilement connecter des fichiers locaux sur un PC en tant qu'ensemble de donn�es � un grand mod�le de langage open-source comme Mistral ou Llama 2, permettant des requ�tes pour des r�ponses rapides et contextuellement pertinentes �, peut-on lire dans le communiqu� de presse.
Comme son nom l'indique, Chat with RTX exploite les c�urs Tensor des cartes graphiques GeForce RTX 30 et 40. Ce mat�riel sp�cialis� acc�l�re les op�rations math�matiques matricielles intenses requises pour l'IA bas�e sur les r�seaux neuronaux. Par cons�quent, les r�ponses sont plus rapides qu'avec une API cloud.
En parlant des c�urs Tensor, NVIDIA explique sur son site :
Les c�urs Tensor sont une nouvelle technologie avanc�e de NVIDIA autorisant des calculs en pr�cision mixte, ce qui permet d�acc�l�rer le rendement tout en pr�servant la pr�cision gr�ce � une adaptation dynamique du calcul informatique. La nouvelle g�n�ration des c�urs Tensor apporte des gains de performance significatifs � une grande vari�t� de t�ches d�intelligence artificielle (IA) et de calcul haute performance (HPC). Avec des proc�dures d�entra�nement jusqu�� six fois plus rapides pour les r�seaux de transformateurs, mais aussi des performances jusqu�� trois fois plus �lev�es dans toutes les applications, les c�urs NVIDIA Tensor vous fournissent des capacit�s sans pr�c�dent pour tous les types de charges de travail.
Un outil qui a ses limites
Le traitement local contribue �galement � la protection de la vie priv�e, puisque les donn�es des utilisateurs ne quittent jamais leur PC. Toutefois, le t�l�chargement initial est consid�rable (40 Go) en raison de tous les fichiers du mod�le d'IA. En outre, le serveur Python utilise environ 3 Go de m�moire vive lorsqu'il est actif. Bien entendu, comme le mod�le est ex�cut� localement, les temps de r�ponse devraient �galement d�pendre du mod�le GPU utilis�.
Le journaliste Tom Warren a bri�vement test� l'application. Ce qui suit est son retour d'exp�rience.
Chat with RTX peut g�rer les vid�os YouTube, il vous suffit donc d'entrer une URL et il vous permet de rechercher des transcriptions pour des mentions sp�cifiques ou de r�sumer une vid�o enti�re. J'ai trouv� cela id�al pour rechercher des podcasts vid�o, en particulier pour trouver des mentions sp�cifiques dans les podcasts de la semaine derni�re, dans un contexte de rumeurs concernant le nouveau changement de strat�gie de Microsoft pour la Xbox.
En revanche, ce n'�tait pas parfait pour les recherches dans les vid�os YouTube. J'ai essay� de rechercher la transcription d'une vid�o YouTube de The Verge, et Chat with RTX a t�l�charg� la transcription d'une vid�o compl�tement diff�rente. Ce n'�tait m�me pas une vid�o que j'avais demand� auparavant, ce qui montre bien qu'il y a des bogues dans cette premi�re d�mo.
Lorsqu'il fonctionnait correctement, j'�tais en mesure de trouver des r�f�rences dans les vid�os en quelques secondes. J'ai �galement cr�� un ensemble de documents de l'affaire FTC contre Microsoft que j'ai analys� avec Chat with RTX. Lorsque je couvrais le proc�s l'ann�e derni�re, il �tait souvent difficile d'effectuer des recherches rapides dans les documents, mais Chat with RTX m'a aid� dans mes requ�tes presque instantan�ment sur mon PC.
Par exemple, le chatbot a fait un bon travail en r�sumant toute la strat�gie Xbox Game Pass de Microsoft � partir de documents internes r�v�l�s lors du proc�s :
Sur la base des informations contextuelles fournies, le Xbox Game Pass est un service d'abonnement � du contenu dans le domaine des jeux qui permet d'acc�der � une biblioth�que de jeux moyennant un forfait mensuel unique. Il s'agit d'une plateforme qui permet aux joueurs de jouer � leurs jeux n'importe o� et aux �diteurs d'atteindre les joueurs partout dans le monde. Le service est soutenu par le projet xCloud et la s�rie X de la Xbox, et il vise � cr�er un terrain fertile pour que les �diteurs puissent mon�tiser leurs jeux. Le principal objectif strat�gique de la CSA Gaming est de d�velopper le Xbox Game Pass, et l'on estime qu'il existe un potentiel important d'abonn�s � l'�chelle mondiale, avec un potentiel de 750 millions d'abonn�s. Le service est confront� � trois dynamiques de contenu principales, notamment le besoin de contenu diff�renci�, l'expansion au-del� de la console et l'offre limit�e de contenu.
Le gros inconv�nient de Chat with RTX est qu'il ressemble vraiment � une premi�re d�mo de d�veloppeur. Chat with RTX installe essentiellement un serveur web et une instance Python sur votre PC, qui exploite ensuite les mod�les Mistral ou Llama 2 pour interroger les donn�es que vous lui fournissez. Il utilise ensuite les c�urs Tensor de Nvidia sur un GPU RTX pour acc�l�rer vos requ�tes.
Les points importants
L'IA personnalis�e sur votre bureau
Chat With RTX n'est pas un simple chatbot. Il repr�sente la fusion des technologies avanc�es de NVIDIA, dont RAG et TensorRT-LLM, avec l'acc�l�ration RTX, pour fournir une exp�rience d'IA personnalis�e. En fonctionnant localement sur le PC de l'utilisateur, il garantit la confidentialit� et la s�curit�, ce qui le diff�rencie des solutions bas�es sur le cloud.
Int�gration transparente et exp�rience utilisateur
L'une des principales caract�ristiques de Chat With RTX est sa capacit� � travailler avec une grande vari�t� de formats de fichiers. Qu'il s'agisse de texte, de PDF, de doc/docx ou de XML, les utilisateurs peuvent facilement int�grer leurs documents dans la base de connaissances du chatbot. De plus, l'inclusion de...
La fin de cet article est r�serv�e aux abonn�s. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer � vous proposer des publications.