Servidores GPU NVIDIA dedicados

Alquilamos servidores GPU dedicados completos, con contratos largos, y cada precio figura en una propuesta por escrito antes de que usted firme.

Bare metal frente a infraestructura GPU compartida explica qué cambia el hardware dedicado en producción.

El catálogo se divide en cuatro grupos según el uso para el que se ha diseñado el hardware: entrenamiento, sistemas a escala de rack, inferencia, y gráficos y multimedia.

Los servidores A100 80GB SXM, con ocho GPU en una placa HGX, también están disponibles bajo petición.

Entrenamiento: HGX B300 y HGX B200

HGX B300 es nuestra línea principal: ocho GPU Blackwell Ultra con 270 GB de HBM3e cada una, 2,1 TB por servidor, conectadas mediante NVLink de quinta generación a 1,8 TB/s por GPU. Nuestros clústeres de GPU de referencia se construyen con él, sobre un fabric de 800 Gb/s por GPU. HGX B200 lleva 180 GB de HBM3e por GPU, 1.440 GB por servidor, y conserva mucha más capacidad de doble precisión: NVIDIA indica 296 TFLOPS de FP64 por placa de 8 GPU, frente a 10 TFLOPS del HGX B300. Elija B200 cuando la simulación u otras cargas FP64 compartan el clúster con la IA. 8 x 270GB: qué cabe en un nodo B300 analiza modelos de 405B y 70B.

Con reserva previa: GB300 NVL72 y Vera Rubin

GB300 NVL72 es un rack con refrigeración líquida de 72 GPU Blackwell Ultra y 36 CPU Grace en un solo dominio NVLink, con 20 TB de HBM3e y 130 TB/s de ancho de banda NVLink total, según las cifras de NVIDIA. Vera Rubin es la próxima plataforma de NVIDIA, con 288 GB de HBM4 por GPU Rubin, y tenemos servidores Rubin encargados. Ambos se ofrecen con reserva previa. Nuestros requisitos para las instalaciones incluyen una vía de transición a la refrigeración líquida directa al chip para GB300 NVL72 y sistemas posteriores.

Inferencia: RTX PRO 6000 Blackwell y L40S

Los servidores RTX PRO 6000 Blackwell llevan ocho GPU con 96 GB de GDDR7 cada una, 768 GB por servidor, y se sirven desde Montreal. Los servidores L40S llevan ocho GPU con 48 GB de GDDR6 cada una. Ninguna de las dos tarjetas tiene NVLink, por lo que las GPU intercambian datos a través de PCIe: estos servidores son adecuados para modelos en los que cada réplica cabe en una GPU o en unas pocas, como un modelo de 70B en FP8 en una sola tarjeta de 96 GB. 8 x 96GB: qué cabe en un nodo RTX PRO 6000 Blackwell desarrolla los cálculos de memoria.

Gráficos y multimedia: tarjetas GeForce y RTX para estaciones de trabajo

Los servidores RTX 5090 (32 GB), RTX 4090 (24 GB) y RTX A6000 (48 GB) llevan ocho GPU; los servidores RTX 4000 Ada (20 GB) y RTX A4000 (16 GB), cuatro.

Cada servidor lleva una de tres etiquetas, que indican la situación actual de su hardware.

Cuatro preguntas acotan la elección: cuánta memoria necesita cada GPU, cómo se comunican las GPU entre sí, cuántos servidores abarca el trabajo y cuál es la carga de trabajo.

Memoria por GPU

La memoria decide qué cabe. Los pesos, más la caché KV en inferencia o el estado del optimizador y las activaciones en entrenamiento, deben residir en la memoria de la GPU, y un modelo de 70B parámetros en FP8 necesita unos 70 GB solo para sus pesos. 70GB de pesos, cuatro GPU muestra lo que deja cada tamaño de memoria para la caché KV.

Interconexión

Cuando un modelo se reparte entre varias GPU, el ancho de banda de GPU a GPU marca el ritmo. Los servidores HGX B300 y B200 ofrecen a cada GPU 1,8 TB/s de NVLink y el GB300 NVL72 une 72 GPU en un solo dominio NVLink, mientras que los servidores PCIe dependen del bus PCIe: 64 GB/s en la L40S. Entre servidores, los clústeres HGX B300 utilizan un fabric optimizado por rails y totalmente no bloqueante a 800 Gb/s por GPU.

Tamaño del clúster

Por encima de un servidor, nuestros clústeres de referencia tienen 64, 128 o 288 nodos HGX B300, hasta 2.304 GPU en un solo fabric dedicado, y el diseño va más allá. Consulte clústeres de GPU y la especificación de entrega.

Carga de trabajo