NVIDIA HGX B200

HGX B200は、学習と推論にBlackwellを使いたい一方で、倍精度の処理も実行するチームに適しています。各GPUは180 GBのHBM3e（サーバーあたり1,440 GB）を搭載しているため、FP8の70Bパラメーターモデル（重みは約70 GB）を単一のGPUに載せても、KVキャッシュとバッチ処理に約110 GBが残ります。

モデルの学習と並行してシミュレーションを実行する研究グループやAIチームは、両方を単一のプラットフォームで実行できます。GPUあたりのメモリを最大限必要とするチームは、270 GBを搭載したHGX B300と比較してください。

NVIDIAのBlackwellデータシートでは、GPUあたりのメモリ帯域幅は7.7 TB/sです。各GPUは最大1,000 Wまで設定でき、NVIDIAは自社のDGX B200システムを約14.3 kWとしています。これは施設計画に役立つ数値です。

HGX B200サーバーのCPU、システムメモリ、ローカルNVMe、ネットワークアダプター、冷却は、お客様の要件に合わせて構成し、提案書で確定します。NVIDIAのDGX B200リファレンスデザインでは各GPUに最大400 Gb/sのConnectX-7アダプターを割り当てており、当社はお客様が計画するクラスターに合わせてバックエンドネットワークをサイジングします。バーンインと検収のページで説明しているとおり、すべてのサーバーは引き渡し前にバーンインを実施し、その結果は検収テスト報告書でお受け取りいただけます。

HGX B200は、単体のサーバーとして、またはお客様専用の単一のファブリック上のクラスターとしてレンタルできます。クラスターはEast-WestファブリックからCPUノード、ストレージまでお客様と共同で設計し、提案書に明記します。

公開しているHGX B300のリファレンスデザインが、その考え方を示しています。他のお客様と共有しないレール最適化された完全ノンブロッキングのファブリック、GPUの周辺サービスを実行するCPUノード、GPUあたりでサイジングしたストレージです。クラスターの構築と引き渡しの方法は専用GPUクラスターのページで、当社に運用を任せる場合のオーケストレーションはマネージドKubernetesで説明しています。

HGX B200は割り当て受付中です。8基のGPUを搭載したサーバーを丸ごと、36カ月、48カ月、60カ月のいずれかの契約でレンタルでき、契約期間が長いほど料金は低くなります。

契約締結前に、サーバーを実際に使用する企業が3種類のオンボーディング書類に記入します。契約締結時に頭金をお支払いいただき、以降は契約期間を通じて一律の固定月額料金をお支払いいただきます。エグレス料金はかかりません。大規模な割り当てでは、銀行保証や信用状（L/C）などの支払保証が必要になる場合があります。トライアルは提供しておらず、バーンインと検収テスト報告書がその役割を果たします。提案書には、当社のデータセンター拠点の中から設置場所を明記します。各ステップは導入の流れのページで説明しています。

HGX B200は、GPUあたり180 GBに収まる学習とファインチューニング、FP4、FP8、INT8での推論、AIと並行してFP64を必要とする科学技術計算に適しています。学習ロードマップに必要なストレージ、障害対応、契約条件については、AI学習のページで説明しています。サイジングの考え方については、基盤モデル学習のボトルネックと共有クラウドで長時間の学習ジョブが失敗する理由をお読みください。

GPUあたりのメモリが制約になる場合は、GPUあたり270 GB、サーバーあたりFP4（密）で108 PFLOPSのHGX B300があります。コードをAmpere向けに最適化している場合は、A100 80GBをご要望に応じて提供します。