NVIDIA y Meta Revolucionan la IA con Llama 3

NVIDIA Impulsa el Modelo Llama 3 de Meta con sus GPUs

La Nueva Generación de IA Optimizada para Todas las Plataformas

NVIDIA ha anunciado que los modelos de lenguaje de gran tamaño (LLMs) de Meta’s Llama 3 fueron construidos con GPUs de NVIDIA y están optimizados para funcionar en todas las plataformas, desde servidores hasta PCs. Esta colaboración marca un hito significativo en la carrera por la inteligencia artificial avanzada.

Innovación Responsable en IA

Con el modelo abierto combinado con la computación acelerada de NVIDIA, desarrolladores, investigadores y empresas pueden innovar de manera responsable en una amplia variedad de aplicaciones.

Infraestructura de Cómputo Masivo

Meta ha entrenado Llama 3 en un clúster de computadoras con 24,576 GPUs H100 Tensor Core, conectadas con una red Quantum-2 InfiniBand. Además, Meta planea escalar su infraestructura a 350,000 GPUs H100.

Llama 3 en Acción

Las versiones de Llama 3, aceleradas en GPUs de NVIDIA, están disponibles hoy para su uso en la nube, centro de datos, dispositivos de borde y PC.

Llevando Llama 3 a Dispositivos y PCs

Llama 3 también funciona en Jetson Orin para robótica y dispositivos de computación de borde, así como en GPUs RTX y GeForce RTX para estaciones de trabajo y PCs.

Rendimiento Óptimo con Llama 3

Las mejores prácticas para desplegar un LLM para un chatbot implican un equilibrio de baja latencia, buena velocidad de lectura y uso óptimo de GPU para reducir costos.