NVIDIA L40S

L40Sは、Ada LovelaceアーキテクチャをベースとするNVIDIAの汎用データセンターGPUで、AIとグラフィックスを同じハードウェアで実行できるよう設計されています。NVIDIAはこれをユニバーサルなデータセンターGPUと呼んでいます。

GPUあたり48 GBに収まるモデルのサービング、レンダリングや3Dワークロード、動画処理を、多くの場合同じサーバー群で行うチームに適しています。各GPUはECC対応の48 GB GDDR6（サーバーあたり384 GB）を搭載し、サーバーのエアフローに合わせて設計されたパッシブ冷却のカードです。同じカードでレンダリングとモデルのサービングの両方を行えるため、ワークロードの構成比が変わっても、別のハードウェアを用意することなく、サーバーをグラフィックス処理と推論処理の間で振り替えられます。

メモリ帯域幅はGPUあたり864 GB/sです。L40SはNVIDIA vGPUソフトウェアに対応していますがMIGには対応しておらず、GPUはNVLinkなしでPCIe Gen4 x16（64 GB/s）を介して接続されます。そのため、GPU間で常時通信が必要なモデルよりも、1基のGPUで動作する処理や、PCIe経由で2〜3基に分割できる処理に適しています。

L40SサーバーのCPU、システムメモリ、ローカルNVMe、ネットワークは、お客様の要件に合わせて構成し、提案書で確定します。サーバーで推論、レンダリング、またはその両方を実行するかをお知らせいただければ、その構成に合わせてホストメモリとストレージをサイジングします。

すべてのサーバーは引き渡し前にバーンインを実施し、その結果を検収テスト報告書に記載します。これがトライアルに代わる仕組みについては、バーンインと検収のページで説明しています。

L40Sサーバーはご要望に応じて提供します。サーバー台数、契約期間、開始日をお知らせいただければ、構成と納品スケジュールを提案書で確定します。

契約期間は36カ月、48カ月、60カ月のいずれかで、期間が長いほど料金は低くなります。サーバーを実際に使用する企業は、契約締結前に3種類のオンボーディング書類に記入します。契約締結時に頭金をお支払いいただき、以降は契約期間を通じて一律の固定月額料金をお支払いいただきます。エグレス料金はかかりません。各ステップは導入の流れのページで、サーバーの設置場所はデータセンターのページで紹介しています。

サイジングはメモリで考えます。重み、KVキャッシュ、余裕分がGPUあたり48 GBに収まる必要があります。FP8の30Bパラメーターモデルは1基のL40Sに収まりますが、FP8の70Bモデルは重みだけで約70 GBが必要なため、2基のGPUにまたがります。

KVキャッシュはコンテキスト長と同時実行数に応じて増えるため、その分の容量を確保しておきます。70Bモデルではトークンあたり約0.33 MB、8Kトークンのシーケンス1本で約2.7 GBとなるため、FP8の重み70 GBを載せた2基のL40S GPUには、キャッシュと余裕分として約26 GBが残ります。

専用サーバーでのサービングについてはAI推論のページで、レンダリングと動画についてはメディア・エンターテインメントのページで説明しています。サイジングの考え方は、専用ベアメタルでのLLM推論と70 GBの重みと4基のGPUで解説しています。

GPUあたりのメモリを増やしたい場合やFP4が必要な場合は、GPUあたり96 GBのRTX PRO 6000 Blackwellがあり、モントリオールで割り当てを受け付けています。48 GBのメモリを備え、カードのペアをNVLinkブリッジで接続できるグラフィックス中心の用途には、RTX A6000をご覧ください。