Servidores GPU dedicados para inferencia de IA
Servidores NVIDIA completos, sin hipervisor y sin otros inquilinos, dimensionados según la memoria que necesitan su modelo y su caché KV: 48 GB, 96 GB o 270 GB por GPU.
1Legion alquila servidores GPU para inferencia de IA como máquinas completas: ocho GPU NVIDIA que solo atienden su tráfico, sin hipervisor entre su software de inferencia y el hardware. Usted elige el servidor según la memoria por GPU, porque los pesos y la caché KV de cada solicitud activa tienen que caber en esa memoria.
Los servidores de inferencia dedicados mantienen una latencia predecible
En un servidor dedicado, las únicas solicitudes que compiten por la memoria de la GPU y por el ancho de banda de memoria son las suyas.
En un modelo denso, generar cada token implica leer todos sus pesos de la memoria de la GPU, por lo que el ancho de banda de memoria determina la velocidad de decodificación. Un modelo de 70B parámetros en FP8 ocupa 70 GB de pesos, y una GPU HGX B300 lee su memoria a 7,7 TB/s, lo que sitúa el techo para una sola secuencia cerca de 110 tokens por segundo antes de las lecturas de la caché KV. El procesamiento por lotes atiende muchas secuencias con la misma lectura. En hardware compartido, la carga de otro inquilino mueve ese techo. En el nuestro hay un solo inquilino y ningún hipervisor, los cambios por nuestra parte siguen una gestión de cambios por escrito y el mantenimiento de alto riesgo se avisa con al menos 7 días de antelación. Nuestro artículo sobre por qué la inferencia de LLM falla en una infraestructura de GPU compartida explica los mecanismos.
Hardware de inferencia de LLM dimensionado por pesos y caché KV
La memoria que necesita equivale a los pesos del modelo más la caché KV de cada secuencia simultánea, más un margen para las activaciones y el entorno de ejecución.
Los pesos ocupan 2 bytes por parámetro en FP16 o BF16, 1 byte en FP8 y medio byte en FP4, por lo que un modelo de 70B parámetros necesita 140 GB, 70 GB o 35 GB. La caché KV crece con cada token en curso: un modelo de la clase de Llama 3 70B con 80 capas y 8 cabezas KV almacena unos 0,33 MB por token con precisión de 16 bits, o unos 10,7 GB para una secuencia de 32.768 tokens.
| Modelo de 70B en FP8, una GPU | Memoria libre tras los pesos | Secuencias de 8K simultáneas | Secuencias de 32K simultáneas |
|---|---|---|---|
| HGX B300, 270 GB | unos 200 GB | unas 74 | unas 18 |
| RTX PRO 6000 Blackwell, 96 GB | unos 26 GB | unas 9 | unas 2 |
Son límites superiores. No tienen en cuenta las activaciones ni la sobrecarga del framework y suponen una caché KV de 16 bits; cuantizar la caché los amplía. El cálculo se desarrolla en el artículo qué queda para la caché KV con 96 y 270 GB.
Qué servidor encaja con cada modelo
HGX B300 sirve los modelos más grandes y los contextos más largos; RTX PRO 6000 Blackwell, modelos de la clase de 70B en FP8 o FP4; y L40S, modelos más pequeños.
HGX B300
270 GB de HBM3e por GPU a 7,7 TB/s y 2,1 TB por servidor. Un modelo de 405B parámetros en FP4, unos 203 GB, cabe en una GPU y deja unos 67 GB para la caché. Asignación abierta, en Toronto.
RTX PRO 6000 Blackwell
96 GB de GDDR7 con ECC por GPU y 768 GB por servidor, con FP8 y FP4 en Tensor Cores de quinta generación. Un modelo de 70B en FP4 deja unos 61 GB por GPU para la caché. Asignación abierta, en Montreal.
L40S
48 GB de GDDR6 con ECC por GPU a 864 GB/s, 384 GB por servidor y 733 TFLOPS en FP8 denso. Un modelo de 8B parámetros en FP16 ocupa 16 GB y deja unos 32 GB para la caché. Bajo petición.
Cuando un modelo necesita más memoria de la que tiene un servidor, GB300 NVL72 reúne 72 GPU y 20 TB de HBM3e en un único dominio NVLink con 130 TB/s de ancho de banda NVLink, con reserva previa.
Una réplica por GPU, ocho por servidor
Un servidor de 8 GPU equivale a ocho espacios de memoria independientes, por lo que la mayoría de los despliegues ejecutan una réplica del modelo por GPU detrás de un balanceador de carga.
En HGX B300 pueden ser ocho réplicas de un modelo de 70B en FP8, cada una con unas 18 secuencias de 32K tokens, o cuatro réplicas de dos GPU de un modelo de 405B en FP8 sobre NVLink a 1,8 TB/s por GPU. Las GPU RTX PRO 6000 Blackwell se conectan mediante PCIe 5.0 x16 en lugar de NVLink, por lo que les convienen las réplicas por GPU: ocho réplicas de 70B en FP4 o cuatro GPU sirviendo el modelo mientras otras cuatro hacen el ajuste fino de la siguiente versión. Su ancho de banda de memoria es aproximadamente una quinta parte del de una GPU B300, por lo que se adaptan mejor a la inferencia por lotes que a la latencia mínima con un solo flujo. Para modelos pequeños, MIG divide una RTX PRO 6000 en hasta cuatro instancias de 24 GB y una GPU B300 en hasta siete. Nuestros artículos sobre qué cabe en un nodo B300 y qué cabe en un nodo RTX PRO 6000 muestran las distribuciones.
Servir tráfico público desde el perímetro
En los clústeres HGX B300 construidos según nuestra especificación de entrega, la red perimetral está diseñada para endpoints de inferencia públicos.
- Dos proveedores de tránsito independientes a 100 Gb/s por circuito, por rutas físicamente separadas, con eBGP y BFD.
- Direcciones públicas de servicio dedicadas, normalmente ocho, con sus VIP anunciadas mediante BGP, conmutación por error en un plazo de 5 segundos y doble pila IPv6.
- Filtrado volumétrico de DDoS de capas 3 y 4 de al menos 1 Tb/s, activado mediante BGP en un plazo de 5 minutos.
- Un par de NAT redundante con al menos 10 millones de sesiones simultáneas y direcciones SNAT dedicadas.
- Su propio espacio de direcciones IP y su ASN, respetando sus ROA de RPKI.
El diseño completo está en almacenamiento y redes, y la inferencia en B300 se trata en B300 para inferencia en producción.
Dónde funcionan los servidores de inferencia
Los HGX B300 funcionan en Toronto, y los RTX PRO 6000 Blackwell y otros servidores de inferencia, en Montreal.
Toronto
En servicioServidores y clústeres NVIDIA HGX B300.
Montreal
En servicioServidores RTX PRO 6000 Blackwell y otros servidores de inferencia, con soporte de ingeniería in situ.
Delaware
En puesta en marchaCapacidad HGX B300 para clientes que necesitan su cómputo en Estados Unidos.
Helsinki
En desarrolloUn emplazamiento brownfield de centro de datos, en desarrollo para futura capacidad en Europa.
Red de socios: 49 centros de datos en 26 ciudades de Norteamérica, Europa, África y Australia. Ver todas las ubicaciones
La capacidad HGX B300 en Delaware, en Estados Unidos, se está poniendo en marcha. Si sus datos tienen que permanecer en Canadá, elija Toronto o Montreal; consulte nuestros centros de datos y nube GPU en Canadá.
Cómo funciona el alquiler de servidores de inferencia
Los servidores de inferencia se alquilan completos durante 36, 48 o 60 meses con una única tarifa mensual fija establecida en una propuesta por escrito, sin cargos por salida de datos por el tráfico que envían sus endpoints.
Usted abona un pago inicial a la firma y, después, mensualidades durante el contrato; los contratos más largos tienen tarifas más bajas. Cómo contratar explica los formularios de alta y el contrato.
Lo que preguntan los compradores
¿Podemos alquilar una sola GPU para inferencia?
No. Alquilamos servidores completos de ocho GPU cada uno. Una réplica del modelo por GPU, o las instancias MIG, le permiten ejecutar varios modelos en un servidor.
¿Qué servidor encaja con un modelo de 70B?
RTX PRO 6000 Blackwell aloja un modelo de 70B en FP8 o FP4 en una sola GPU de 96 GB. Para contextos largos o alta concurrencia, HGX B300 deja unos 200 GB por GPU para la caché KV después de los pesos en FP8.
¿Cobran por token, por solicitud o por salida de datos?
No. Paga una única tarifa mensual fija por los servidores durante el contrato y no hay cargos por salida de datos.
¿Podemos evaluar el rendimiento de nuestro modelo antes de firmar?
No ofrecemos periodos de prueba ni pruebas de concepto. Nuestros ingenieros dimensionan el servidor con usted a partir de los pesos, la longitud de contexto y la concurrencia de su modelo, y cada clúster se somete a burn-in antes de la entrega, con los resultados en un informe de aceptación.
¿Dónde están sus servidores de inferencia?
Los servidores HGX B300 están en Toronto, y los RTX PRO 6000 Blackwell y otros servidores de inferencia están en Montreal. La capacidad HGX B300 en Delaware, en Estados Unidos, se está poniendo en marcha.
¿Qué software de inferencia podemos ejecutar?
Los servidores son bare metal, así que usted instala su propia pila de software, por ejemplo vLLM, SGLang o TensorRT-LLM. También podemos instalar y operar Kubernetes gestionado por debajo.
Dimensionar un servidor de inferencia para su modelo
Indíquenos el modelo, la precisión, la longitud de contexto y el tráfico que espera, y le responderemos con una propuesta por escrito.