NVIDIA L40S

L40S는 Ada Lovelace 아키텍처 기반의 NVIDIA 범용 데이터센터 GPU로, 같은 하드웨어에서 AI와 그래픽 작업을 모두 실행하도록 설계되었습니다. NVIDIA는 이를 유니버설 데이터센터 GPU라고 부릅니다.

GPU당 48 GB에 들어가는 모델을 서빙하고, 렌더링이나 3D 워크로드를 실행하고, 영상을 처리하는 작업을 흔히 하나의 서버군에서 수행하는 팀에 적합합니다. 각 GPU는 서버 공기 흐름에 맞춰 설계된 패시브 냉각 카드로, ECC를 지원하는 GDDR6 48 GB(서버당 384 GB)를 탑재합니다. 같은 카드로 렌더링과 모델 서빙을 모두 처리하므로, 작업 구성이 바뀌면 별도의 하드웨어 없이 서버를 그래픽 작업과 추론 작업 사이에서 전환하실 수 있습니다.

메모리 대역폭은 GPU당 864 GB/s입니다. L40S는 NVIDIA vGPU 소프트웨어를 지원하지만 MIG는 지원하지 않으며, GPU 간 연결은 NVLink 없이 64 GB/s의 PCIe Gen4 x16을 사용합니다. 따라서 GPU 간 트래픽이 지속적으로 필요한 모델보다는 GPU 하나에서 실행되거나 PCIe를 통해 GPU 두세 개로 나뉘는 작업에 더 적합합니다.

L40S 서버의 CPU, 시스템 메모리, 로컬 NVMe 및 네트워크는 귀사의 요구 사항에 맞춰 구성하고 제안서에서 확정합니다. 서버에서 추론, 렌더링 또는 둘 다를 실행할지 알려 주시면, 그 작업 구성에 맞춰 호스트 메모리와 스토리지 규모를 산정합니다.

모든 서버는 인도 전에 번인 테스트를 거치며, 결과는 검수 보고서에 담깁니다. 이 과정이 시범 사용을 대신하는 방식은 번인 테스트 및 검수 페이지에서 설명합니다.

L40S 서버는 요청 시 제공합니다. 서버 수, 약정 기간 및 시작일을 알려 주시면 구성과 납품 일정을 서면 제안서로 확정해 드립니다.

계약 기간은 36개월, 48개월 또는 60개월이며, 약정 기간이 길수록 요금이 낮아집니다. 서버를 실제로 사용할 회사는 서명 전에 온보딩 양식 3종을 작성합니다. 계약 체결 시 계약금을 납부하시고, 이후 전체 약정 기간 동안 단일 월 고정 요금을 납부하시며, 이그레스 요금은 없습니다. 각 단계는 구매 방법 페이지에서, 서버 운영 위치는 데이터센터 페이지에서 확인하실 수 있습니다.

규모는 메모리를 기준으로 산정합니다. 가중치, KV 캐시 및 여유 공간이 GPU당 48 GB 안에 들어가야 합니다. FP8의 30B 파라미터 모델은 L40S 한 개에 들어가지만, FP8의 70B 모델은 가중치만으로 약 70 GB가 필요하므로 GPU 두 개에 걸쳐 실행됩니다.

컨텍스트 길이와 동시성에 따라 커지는 KV 캐시를 위한 공간을 남겨 두십시오. 70B 모델의 경우 토큰당 약 0.33 MB, 8K 토큰 시퀀스 하나에 약 2.7 GB가 필요하므로, FP8 가중치 70 GB를 올린 L40S GPU 두 개에는 캐시와 여유 공간으로 약 26 GB가 남습니다.

전용 서버에서의 서빙은 AI 추론 페이지에서, 렌더링과 영상은 미디어 및 엔터테인먼트에서 다룹니다. 규모 산정 규칙은 전용 베어메탈에서의 LLM 추론과 70 GB 가중치와 GPU 4종에서 설명합니다.

GPU당 더 많은 메모리나 FP4가 필요하다면, 몬트리올에서 할당 접수 중인 RTX PRO 6000 Blackwell이 GPU당 96 GB를 제공합니다. 48 GB 메모리와 카드 쌍 간 NVLink 브리지를 활용하는 그래픽 중심 작업에는 RTX A6000을 참조하십시오.