NVIDIA GB300 NVL72

GB300 NVL72は、8基を超えるGPUがNVLinkの速度で通信する必要のあるモデル向けです。8基のGPUを搭載したサーバーでは、サーバー間の通信はGPUあたり800 Gb/sでネットワークを経由します。GB300 NVL72ラックでは、72基すべてのGPUが単一のNVLinkドメインを共有し、GPUあたり1.8 TB/s、合計130 TB/sで通信します。

これは、エキスパートを多数のGPUに分散させる混合エキスパート（MoE）モデル、学習における大規模なテンソル並列グループ、そして長いコンテキストを多数のユーザーに同時に提供するリーズニングモデルにとって重要です。NVIDIAは、このラックを拡散モデルベースの動画生成向けとしても位置づけています。

HGX B300と同様に、GB300 NVL72はAI向けの数値形式を前提に設計されています。NVIDIAの公表値では、ラック全体のFP64性能は100 TFLOPSです。

GB300 NVL72は完全なラック単位でレンタルし、お客様の要件に合わせて構成したうえで提案書で確定します。NVIDIAは完全液冷システムとして設計しているため、当社は、ダイレクト・ツー・チップ方式の液冷を備え、当社のデータセンター要件を満たす施設にのみ設置します。要件は、ラックあたりの契約上の最大kW、すべてのラックへのA系・B系の二重電源系統、電源と冷却の同時保守性です。

NVIDIAはGB300 NVL72のラック電力の数値を公表していないため、選定したシステムについて設置前に確認します。施設の選定方法はデータセンターのページで説明しています。

GB300 NVL72は予約制で提供しており、展開に先立ってラックを予約していただきます。納品日は公表しておらず、お客様のラックのスケジュールは書面で合意します。

1. ご依頼と提案書

   必要なラック数と時期をお知らせください。構成、価格、納品スケジュールは提案書に明記します。

2. オンボーディングと契約

   ラックを実際に使用する企業が3種類のオンボーディング書類に記入したうえで、36カ月、48カ月、60カ月のいずれかの契約に署名し、頭金を支払います。この規模の割り当てでは、銀行保証や信用状（L/C）などの支払保証が必要になる場合があります。

3. バーンインと引き渡し

   各ラックは引き渡し前にバーンインを実施し、その結果は検収テスト報告書でお受け取りいただけます。請求は契約期間を通じて一律の固定料金による月次請求で、エグレス料金はかかりません。

契約期間が長いほど料金は低くなります。書類と支払いの仕組みについては、導入の流れのページで詳しく説明しています。

GB300 NVL72は、リーズニングモデルと混合エキスパート（MoE）モデルのラックスケール推論や、モデル並列が8基のGPUを搭載したサーバー1台を超える学習に適しています。周辺インフラについてはAI学習とAI推論のページで説明しています。モデルを分割するとインターコネクトが上限を決める理由は基盤モデル学習のボトルネックで、単一のGPUの限界は8 x 270 GB：B300ノードに何が収まるかで説明しています。

より早くキャパシティが必要な場合は、HGX B300の割り当てを受け付けています。専用ファブリック上の64〜288ノードのクラスターについてはGPUクラスターのページで説明しています。Blackwell Ultraの次の世代については、同じく予約制のNVIDIA Vera Rubinをご覧ください。