Chat con RTX: tu chatbot personal de IA en tu PC

Chat con RTX: el chatbot de IA personalizado de NVIDIA para PCs Windows

¿Qué es Chat con RTX?

Chat con RTX es una aplicación de demostración que te permite personalizar un modelo de lenguaje de gran tamaño (LLM) GPT conectado a tu propio contenido: documentos, notas, vídeos u otros datos. Al aprovechar la generación aumentada por recuperación (RAG), TensorRT-LLM y la aceleración RTX, puedes consultar un chatbot personalizado para obtener respuestas contextualmente relevantes con rapidez. Como todo se ejecuta localmente en tu PC o estación de trabajo Windows RTX, obtendrás resultados rápidos y seguros.

¿Cómo funciona Chat con RTX?

Chat con RTX admite varios formatos de archivo, incluidos texto, pdf, doc/docx y xml. Solo tienes que seleccionar la carpeta que contiene los archivos en la aplicación y se cargarán en la biblioteca en cuestión de segundos. También puedes especificar la URL de una lista de reproducción de YouTube y la aplicación cargará las transcripciones de los vídeos en la lista de reproducción, lo que te permite consultar el contenido que incluyen.

Chat con RTX utiliza un LLM GPT como Mistral o Llama 2, que se entrenan con miles de millones de palabras de texto de Internet. Estos modelos son capaces de generar texto coherente y fluido a partir de una entrada dada, pero pueden carecer de precisión o relevancia si no tienen acceso a la información específica que buscas. Por eso, Chat con RTX incorpora la técnica de RAG, que consiste en recuperar los documentos más relevantes de la biblioteca local y fusionarlos con el texto generado por el LLM. De esta forma, el chatbot puede proporcionar respuestas más precisas y basadas en el contexto.

Para acelerar el proceso de generación y recuperación, Chat con RTX utiliza TensorRT-LLM, una biblioteca de software que optimiza los LLM para su ejecución en las GPU NVIDIA RTX. TensorRT-LLM aprovecha los núcleos Tensor de las GPU RTX para realizar operaciones matemáticas complejas con mayor rapidez y eficiencia. Según NVIDIA, TensorRT-LLM puede ofrecer hasta un 5x de aceleración de la IA en los PCs Windows 11 que ejecutan las GPU RTX 40 y RTX 30.

¿Para qué sirve Chat con RTX?

Chat con RTX es una aplicación de demostración que muestra el potencial de la IA generativa para crear chatbots personalizados y locales. Puedes usar Chat con RTX para consultar tu propio contenido de forma interactiva y obtener respuestas rápidas y relevantes. Por ejemplo, puedes usar Chat con RTX para:

• Repasar tus apuntes o documentos de estudio y hacer preguntas sobre el temario.

• Buscar información en tus archivos personales o profesionales y obtener resúmenes o extractos.

• Explorar el contenido de tus vídeos favoritos de YouTube y obtener comentarios o sugerencias.

• Divertirte con un chatbot que se adapta a tus gustos e intereses y genera respuestas creativas.

¿Cómo obtener Chat con RTX?

Chat con RTX es una aplicación gratuita que puedes descargar desde la página web de NVIDIA. Para usar Chat con RTX, necesitas tener un PC o estación de trabajo Windows 11 o Windows 10 con una GPU NVIDIA GeForce RTX 30 o RTX 40 con al menos 8 GB de memoria de vídeo. También necesitas tener instalado el último controlador de NVIDIA para tu GPU. Además, necesitas tener acceso a un LLM GPT como Mistral o Llama 2, que puedes descargar desde los enlaces proporcionados por NVIDIA.