NVIDIA L40S

La L40S es la GPU de uso general para centros de datos de NVIDIA basada en la arquitectura Ada Lovelace, diseñada para ejecutar IA y gráficos en el mismo hardware. NVIDIA la denomina GPU universal para centros de datos.

Es adecuada para equipos que sirven modelos que caben en 48 GB por GPU, renderizan o ejecutan cargas de trabajo 3D y procesan vídeo, a menudo con un mismo conjunto de servidores. Cada GPU tiene 48 GB de GDDR6 con ECC, 384 GB por servidor, en una tarjeta con refrigeración pasiva diseñada para el flujo de aire de los servidores. Como la misma tarjeta renderiza y sirve modelos, puede reasignar servidores entre trabajos de gráficos y de inferencia a medida que cambie su combinación de cargas, sin un segundo conjunto de hardware.

El ancho de banda de memoria es de 864 GB/s por GPU. La L40S es compatible con el software NVIDIA vGPU, pero no con MIG, y sus GPU se conectan mediante PCIe Gen4 x16 a 64 GB/s, sin NVLink. Es más adecuada para trabajos que se ejecutan en una GPU, o que se reparten entre dos o tres a través de PCIe, que para modelos que necesitan tráfico constante de GPU a GPU.

Los servidores L40S se configuran según sus requisitos y se confirman en su propuesta: CPU, memoria del sistema, NVMe local y red. Indíquenos si los servidores ejecutarán inferencia, renderizado o ambos, y dimensionaremos la memoria del host y el almacenamiento en función de esa combinación.

Cada servidor se somete a burn-in antes de la entrega, y los resultados se recogen en un informe de aceptación. Nuestra página burn-in y aceptación explica cómo sustituye esto a un periodo de prueba.

Los servidores L40S están disponibles bajo petición. Indíquenos el número de servidores, la duración del contrato y la fecha de inicio, y le confirmaremos la configuración y el calendario de entrega en una propuesta por escrito.

Los contratos duran 36, 48 o 60 meses, y los contratos más largos tienen tarifas más bajas. La empresa que utilizará los servidores rellena tres formularios de alta antes de firmar. Usted abona un pago inicial a la firma y después una única tarifa mensual fija durante todo el contrato, sin cargos por salida de datos. Nuestra página cómo contratar explica cada paso, y nuestra página centros de datos indica dónde funcionan los servidores.

Dimensione por memoria: los pesos, la caché KV y el margen deben caber en 48 GB por GPU. Un modelo de 30B parámetros en FP8 cabe en una L40S; un modelo de 70B en FP8 necesita unos 70 GB solo para sus pesos, por lo que ocupa dos GPU.

Deje espacio para la caché KV, que crece con la longitud del contexto y la concurrencia. En un modelo de 70B ocupa unos 0,33 MB por token, es decir, unos 2,7 GB para una secuencia de 8K tokens, de modo que dos GPU L40S que alojan 70 GB de pesos FP8 conservan unos 26 GB para la caché y el margen.

Nuestra página inferencia de IA trata el servicio de modelos en servidores dedicados, y medios y entretenimiento trata el renderizado y el vídeo. Inferencia de LLM en bare metal dedicado y 70 GB de pesos, cuatro GPU explican la regla de dimensionamiento.

Si necesita más memoria por GPU o FP4, la RTX PRO 6000 Blackwell tiene 96 GB por GPU, con asignación abierta en Montreal. Para trabajos centrados en gráficos con 48 GB y puentes NVLink entre pares de tarjetas, consulte la RTX A6000.