NVIDIA presenta las GPU y los sistemas H200 y GH200 basados en Hopper

NVIDIA lanza las líneas de productos H200 y GH200: basadas en la arquitectura Hopper existente para mejorar las capacidades informáticas

¿Qué es la arquitectura Hopper?

La arquitectura Hopper es la nueva generación de GPU de NVIDIA, diseñada para acelerar las cargas de trabajo de computación de alto rendimiento (HPC) y de inteligencia artificial (IA) a escala exaescala. Hopper se basa en un proceso de fabricación de 4 nanómetros de TSMC y cuenta con más de 80 mil millones de transistores. Hopper introduce cinco innovaciones clave que impulsan el rendimiento y la eficiencia de las GPU NVIDIA H100 Tensor Core:

• Motor transformador: Un nuevo componente de los Tensor Cores que permite aplicar precisiones mixtas de FP8 y FP16 para acelerar drásticamente los cálculos de IA de los transformadores, que son modelos de aprendizaje profundo que procesan datos secuenciales como el lenguaje natural o el audio.

• Red NVLink: Una interconexión de alta velocidad que escala la entrada y salida (E/S) de múltiples GPU en varios servidores a 900 gigabytes por segundo (GB/s) bidireccional por cada GPU, lo que supone más de 7 veces el ancho de banda de PCIe Gen5. La red NVLink también permite conectar hasta 256 GPU H100 en un solo clúster, ofreciendo un ancho de banda de 57,6 terabytes por segundo (TB/s) de comunicación entre todas las GPU.

• NVSwitch y NVLink Switch System: Un nuevo conmutador externo que amplía la capacidad de la red NVLink y admite el protocolo SHARP (Scalable Hierarchical Aggregation and Reduction Protocol), que permite realizar cálculos en la red, reduciendo la latencia y el consumo de energía. El NVLink Switch System se utiliza en los sistemas NVIDIA DGX GH200 y HGX GH200, que son plataformas de computación acelerada para centros de datos.

• NVIDIA Confidential Computing: Una nueva característica de seguridad que protege los datos y las aplicaciones en uso, evitando que entidades no autorizadas puedan ver o modificar el código y los datos cuando se están procesando. NVIDIA Confidential Computing se basa en una fuerte seguridad basada en hardware y es compatible con los estándares de la industria como Confidential Computing Consortium y Asylo.

• NVIDIA AI Enterprise: Un conjunto de software que simplifica la adopción de la IA en las empresas, ofreciendo el máximo rendimiento y compatibilidad con las aplicaciones y los marcos de trabajo más populares de la IA. NVIDIA AI Enterprise se ejecuta sobre las GPU NVIDIA H100 Tensor Core y está optimizado para los servidores convencionales.

¿Qué son las líneas de productos H200 y GH200?

Las líneas de productos H200 y GH200 son las nuevas familias de GPU y sistemas basados en la arquitectura Hopper. Estas líneas de productos están dirigidas a diferentes segmentos de mercado y ofrecen diferentes niveles de rendimiento y características.

H200

La línea de productos H200 está compuesta por las GPU NVIDIA H200 y H210 Tensor Core, que son las sucesoras de las GPU NVIDIA A10 y A30 Tensor Core de la generación anterior. Estas GPU están diseñadas para ofrecer una aceleración de la IA y del gráfico profesional en los servidores convencionales, con un bajo consumo de energía y un alto rendimiento por vatio. Las GPU H200 y H210 cuentan con las siguientes especificaciones:

• H200: 40 GB de memoria HBM2e, 5120 núcleos CUDA, 320 Tensor Cores, 10 TFLOPS de FP64, 20 TFLOPS de FP32, 40 TFLOPS de TF32, 80 TFLOPS de FP16, 160 TFLOPS de FP8, 320 TOPS de INT8, 300 W de TDP.

• H210: 80 GB de memoria HBM2e, 10240 núcleos CUDA, 640 Tensor Cores, 20 TFLOPS de FP64, 40 TFLOPS de FP32, 80 TFLOPS de TF32, 160 TFLOPS de FP16, 320 TFLOPS de FP8, 640 TOPS de INT8, 350 W de TDP.

Las GPU H200 y H210 son compatibles con el software NVIDIA AI Enterprise y con las aplicaciones de gráficos profesionales como Autodesk, Adobe, Dassault Systèmes y Siemens. Estas GPU también soportan la tecnología NVIDIA Multi-Instance GPU (MIG), que permite dividir una GPU en varias instancias virtuales para ejecutar múltiples cargas de trabajo de forma simultánea y aislada.

GH200

La línea de productos GH200 está compuesta por las GPU NVIDIA H100 y H110 Tensor Core, que son las sucesoras de las GPU NVIDIA A100 y A40 Tensor Core de la generación anterior. Estas GPU están diseñadas para ofrecer una aceleración de la IA y del HPC a escala exaescala, con un alto rendimiento y una gran capacidad de memoria. Las GPU H100 y H110 cuentan con las siguientes especificaciones:

• H100: 160 GB de memoria HBM2e, 20480 núcleos CUDA, 1280 Tensor Cores, 40 TFLOPS de FP64, 80 TFLOPS de FP32, 160 TFLOPS de TF32, 320 TFLOPS de FP16, 640 TFLOPS de FP8, 1280 TOPS de INT8, 400 W de TDP.

• H110: 320 GB de memoria HBM2e, 40960 núcleos CUDA, 2560 Tensor Cores, 80 TFLOPS de FP64, 160 TFLOPS de FP32, 320 TFLOPS de TF32, 640 TFLOPS de FP16, 1280 TFLOPS de FP8, 2560 TOPS de INT8, 600 W de TDP.

Las GPU H100 y H110 son compatibles con el software NVIDIA AI Enterprise y con las aplicaciones de HPC como ANSYS, MATLAB, TensorFlow, PyTorch y RAPIDS. Estas GPU también soportan la tecnología NVIDIA MIG y la tecnología NVIDIA Confidential Computing.

La línea de productos GH200 también incluye los sistemas NVIDIA DGX GH200 y HGX GH200, que son plataformas de computación acelerada para centros de datos que integran las GPU H100 y H110 con el NVLink Switch System y el NVSwitch. Estos sistemas ofrecen una escalabilidad sin precedentes y un rendimiento récord en las cargas de trabajo de IA y HPC. Los sistemas DGX GH200 y HGX GH200 cuentan con las siguientes especificaciones:

• DGX GH200: 8 GPU H100 o H110, 1280 o 2560 GB de memoria HBM2e, 4608 o 9216 GB/s de ancho de banda de memoria, 320 o 640 TFLOPS de FP64, 640 o 1280 TFLOPS de FP32, 1280 o 2560 TFLOPS de TF32, 2560 o 5120 TFLOPS de FP16, 5120 o 10240 TFLOPS de FP8, 10240 o 20480 TOPS de INT8, 6,4 o 12,8 PB/s de ancho de banda de E/S, 3,2 o 6,4 TB/s de ancho de banda de NVLink, 57,6 TB/s de ancho de banda de NVLink Switch System, 3200 o 4800 W de TDP.

• HGX GH200: 16 GPU H100 o H110, 2560 o 5120 GB de memoria HBM2e, 9216 o 18432 GB/s de ancho de banda de memoria, 640 o 1280 TFLOPS de FP64, 1280 o 2560 TFLOPS de FP32, 2560 o 5120 TFLOPS de TF32, 5120 o 10240 TFLOPS de FP16, 10240 o 20480 TFLOPS de FP8, 20480 o 40960 TOPS de INT8, 12,8 o 25,6 PB/s de ancho de banda de E/S, 6,4 o 12,8 TB/s de ancho de banda de NVLink, 57,6 TB/s de ancho de banda de NVLink Switch System, 6400 o 9600 W de TDP.

Los sistemas DGX GH200 y HGX GH200 son compatibles con el software NVIDIA AI Enterprise y con el software NVIDIA HPC SDK, que incluye compiladores y bibliotecas optimizadas para las cargas de trabajo de HPC como la dinámica de fluidos computacional, la mecánica de sólidos, la química cuántica, la física de partículas y la astrofísica.

¿Qué ventajas ofrecen las líneas de productos H200 y GH200?

Las líneas de productos H200 y GH200 ofrecen una serie de ventajas para los usuarios y los desarrolladores de aplicaciones de IA y HPC, tales como:

• Mayor rendimiento: Las GPU y los sistemas basados en la arquitectura Hopper ofrecen un rendimiento sin precedentes en las cargas de trabajo de IA y HPC, superando a las generaciones anteriores de GPU y sistemas NVIDIA. Por ejemplo, la GPU H110 Tensor Core ofrece hasta 10 veces más rendimiento que la GPU A100 Tensor Core en el benchmark MLPerf, que mide el rendimiento de la IA en diferentes tareas como el procesamiento del lenguaje natural, la visión por computador, el reconocimiento de voz y la recomendación. Asimismo, el sistema DGX GH200 ofrece hasta 20 veces más rendimiento que el sistema DGX A100 en el benchmark HPL-AI, que mide el rendimiento del HPC en la resolución de sistemas lineales de gran tamaño.

• Mayor escalabilidad: Las GPU y los sistemas basados en la arquitectura Hopper ofrecen una mayor escalabilidad para ejecutar las cargas de trabajo de IA y HPC a escala exaescala, aprovechando la red NVLink y el NVLink Switch System. Estas tecnologías permiten conectar hasta 256 GPU H100 en un solo clúster, ofreciendo un ancho de banda de comunicación de 57,6 TB/s entre todas las GPU. Además, la red NVLink y el NVLink Switch System soportan el protocolo SHARP, que permite realizar cálculos en la red, reduciendo la latencia y el consumo de energía.

• Mayor eficiencia: Las GPU y los sistemas basados en la arquitectura Hopper ofrecen una mayor eficiencia en el uso de los recursos de computación, gracias a la tecnología NVIDIA MIG y al motor transformador. La tecnología NVIDIA MIG permite dividir una GPU en varias instancias virtuales para ejecutar múltiples cargas de trabajo de forma simultánea y aislada, optimizando la utilización de la GPU y aumentando el rendimiento por vatio. El motor transformador permite aplicar precisiones mixtas de FP8 y FP16 para acelerar drásticamente los cálculos de IA de los transformadores, que son modelos de aprendizaje profundo que procesan datos secuenciales como el lenguaje natural o el audio.

• Mayor seguridad: Las GPU y los sistemas basados en la arquitectura Hopper ofrecen una mayor seguridad para proteger los datos y las aplicaciones en uso, gracias a la tecnología NVIDIA Confidential Computing. Esta tecnología protege el código y los datos cuando se están procesando, evitando que entidades no autorizadas puedan ver o modificar el contenido. NVIDIA Confidential Computing se basa en una fuerte seguridad basada en hardware y es compatible con los estándares de la industria como Confidential Computing Consortium y Asylo.

• Mayor compatibilidad: Las GPU y los sistemas basados en la arquitectura Hopper ofrecen una mayor compatibilidad con las aplicaciones y los marcos de trabajo más populares de la IA y el HPC, gracias al software NVIDIA AI Enterprise y al software NVIDIA HPC SDK. Estos software simplifican la adopción de la IA y el HPC en las empresas, ofreciendo el máximo rendimiento y compatibilidad con las aplicaciones de gráficos profesionales como Autodesk, Adobe, Dassault Systèmes y Siemens, y con las aplicaciones de HPC como ANSYS, MATLAB, TensorFlow, PyTorch y RAPIDS .

Conclusión

Las líneas de productos H200 y GH200 son las nuevas familias de GPU y sistemas basados en la arquitectura Hopper, que ofrecen una aceleración de la IA y del HPC a escala exaescala, con un alto rendimiento, una gran escalabilidad, una alta eficiencia, una fuerte seguridad y una amplia compatibilidad. Estas líneas de productos están dirigidas a diferentes segmentos de mercado y ofrecen diferentes niveles de rendimiento y características. Las GPU y los sistemas basados en la arquitectura Hopper están disponibles para su compra a través de los socios de NVIDIA, como Dell, HP, Lenovo, Supermicro, Asus, Gigabyte y otros .