HGX B300サーバーの内部
お客様がレンタルするサーバーを、パーツごとに説明します。
-
1台のサーバーを1社が専有
筐体内のGPU、CPU、メモリ、ドライブ、ネットワークポートは、契約期間を通じて単一のお客様に専有されます。共有されるものは何もありません。
-
8基のBlackwell Ultra GPU
単一のベースボード上に8基のSXM GPUを搭載し、各GPUは7.7 TB/sの270 GB HBM3eを備えます。サーバー1台で2.1 TBのGPUメモリになります。
-
単一のNVLinkドメイン
第5世代NVLinkが8基すべてのGPUをGPUあたり1.8 TB/s、サーバー全体で14.4 TB/sで接続するため、モデルをボード全体にまたがって実行できます。
-
GPUあたり800 Gb/s
各GPUはクラスターファブリックへの専用の800 Gb/sポートを持ち(NVIDIA ConnectX-8を推奨)、他のお客様が使用しないレール最適化されたファブリックに接続します。
-
ドライブと空冷
当社の納品仕様書に沿って構築した空冷式の筐体の前面に、データ用として9.2 TB以上(物理容量)のNVMeを搭載します。
仕様
| GPU | |
|---|---|
| プラットフォーム | NVIDIA HGX B300、単一のベースボードにSXM GPU 8基 |
| アーキテクチャ | NVIDIA Blackwell Ultra |
| GPUあたりのメモリ | 270 GB HBM3e(NVIDIA HGX B300の仕様) |
| サーバーあたりのGPUメモリ | 2.1 TB HBM3e(NVIDIAの表記では8 x 270 GB) |
| GPUあたりのメモリ帯域幅 | 7.7 TB/s |
| FP4 Tensor(GPU 8基) | 144 PFLOPS(スパース)、108 PFLOPS(密) |
| FP8およびFP6 Tensor(GPU 8基) | 72 PFLOPS(スパース) |
| FP16およびBF16 Tensor(GPU 8基) | 36 PFLOPS(スパース) |
| TF32 Tensor(GPU 8基) | 18 PFLOPS(スパース) |
| FP32(GPU 8基) | 600 TFLOPS |
| FP64(GPU 8基) | 10 TFLOPS |
| NVLink | 第5世代、GPUあたり1.8 TB/s、サーバーあたり14.4 TB/s |
| PCIe | Gen6、256 GB/s |
| GPUあたりの電力 | 設定可能、最大1,100 W |
| Multi-Instance GPU | GPUあたり最大7インスタンス |
| 納品時のサーバー構成 | |
|---|---|
| CPU | 128 vCPU以上 |
| システムメモリ | 3 TB推奨、1.92 TB以上(GPUあたり240 GB) |
| ブートストレージ | 1 TB NVMe×2(ミラーリング、推奨) |
| ローカルデータストレージ | 9.2 TB以上のNVMe(物理容量) |
| 冷却 | 空冷 |
| 計画電力 | サーバーあたり約14 kW(計画上の想定値) |
| ネットワーク | |
|---|---|
| バックエンドネットワーク | GPUあたり800 Gb/s(1 x 800、2 x 400、4 x 200 Gb/sのいずれか)、NVIDIA ConnectX-8を推奨 |
| フロントエンドネットワーク | NVIDIA BlueField-3、2 x 400 Gb/sを推奨、最低2 x 200 Gb/s |
| East-Westファブリック | レール最適化、完全ノンブロッキング、単一のお客様専用 |
| ファブリックスイッチ | NVIDIA Spectrum-XまたはBroadcom Tomahawk 6を推奨、NVIDIA Quantum InfiniBandまたはTomahawk 5も可 |
| North-South | ノードあたり400 Gb/sを推奨、最低200 Gb/s、RoCEv2、MTU 9000 |
代表的なワークロード
- 大規模モデルの事前学習と事後学習
- クラスター規模での強化学習とファインチューニング
- 長いコンテキストを扱うリーズニングモデルと混合エキスパート(MoE)モデルの推論
NVIDIA HGX B300サーバーを、8基のGPUを搭載したノード単位で、または他のお客様と共有しないファブリック上のクラスターとしてレンタルできます。すべてのサーバーは公開している納品仕様書に沿って構築し、引き渡し前にバーンインを実施したうえで、36カ月、48カ月、60カ月のいずれかの契約で一律の固定月額料金にてレンタルします。
HGX B300が適したお客様
HGX B300は、モデルがGPUあたり80〜180 GBに収まらなくなったチーム向けです。各GPUは270 GBのHBM3e(サーバーあたり2.1 TB)を搭載しているため、FP8の70Bパラメーターモデル(重みは約70 GB)を載せても、単一のGPUにKVキャッシュとバッチ処理用として約200 GBが残ります。
AIラボは数週間に及ぶ事前学習や事後学習のジョブのために、推論チームは長いコンテキストを扱うリーズニングモデルや混合エキスパート(MoE)モデルを提供するために、このサーバーをレンタルしています。1Legionのキャパシティの主力であり、当社のHGX B300納品仕様書もこのサーバーを前提に作成しています。
強み
HGX B300の特長は、GPUあたりのメモリと帯域幅です。
NVIDIAの公表値では、各GPUのメモリ帯域幅は7.7 TB/sで、これが大規模モデルのデコード速度の上限を決めます。8基のGPUを搭載したボードのFP4(密)性能は108 PFLOPS(スパースでは144 PFLOPS)で、HGX B200は72 PFLOPS(密)です。FP8(スパース)では72 PFLOPSです。第5世代NVLinkにより、各GPUは他の7基のGPUとの間で1.8 TB/s、サーバー全体で14.4 TB/sの帯域幅を持ち、各GPUはクラスターファブリックへの専用の800 Gb/sポートを備えます。
その代わりに倍精度の性能が犠牲になっています。NVIDIAの公表値ではボードあたりのFP64性能は10 TFLOPSであり、HGX B300はAI向けの数値形式のためのサーバーで、FP64シミュレーション向けではありません。
納品時の構成
構成は当社の納品仕様書(1LG-DEL-SPEC-2026-001)に基づきます。提案書で変更する点はすべて番号付きの仕様差異として記載するため、お客様のサーバーが公開されたベースラインとどこが異なるかを確認できます。
- CPUとメモリ:128 vCPU以上。システムメモリは3 TBを推奨し、いかなる場合もGPUあたり240 GB(1.92 TB)を下回りません。
- ローカルストレージ:1 TBのNVMeブートドライブ2台のミラー構成を推奨し、さらにデータ用として9.2 TB以上(物理容量)のNVMeを搭載します。これはGPUメモリの4倍を超える容量です。
- ネットワーク:バックエンドはGPUあたり800 Gb/s(NVIDIA ConnectX-8を推奨)、フロントエンドはNVIDIA BlueField-3で、2 x 400 Gb/sを推奨、最低2 x 200 Gb/sです。
- 冷却と電力:クラスター規模でのOEMの推奨に従い空冷です。電力はサーバーあたり約14 kWで計画します。
HGX B300のクラスターオプション
1Legionのクラスターは、スイッチに至るまで単一のお客様専用です。3つのリファレンス規模はいずれも同じサーバーを使用します。
| 項目 | 64ノード | 128ノード | 288ノード |
|---|---|---|---|
| GPUノード(各ノード8基のGPU) | 64 | 128 | 288 |
| GPU | 512 | 1,024 | 2,304 |
| CPUノード | 24 | 48 | 108 |
| コントロールプレーンノード | 6 | 6 | 6 |
| ストレージ:アプライアンス方式(使用可能容量) | 512 TB | 1,024 TB | 2,304 TB |
| ストレージ:ストレージノード方式 | 9ノード | 17ノード | 38ノード |
| 推定IT負荷 | 約0.98 MW | 約1.95 MW | 約4.39 MW |
East-Westファブリックは、GPUあたり800 Gb/sのレール最適化された完全ノンブロッキング構成で、NVIDIA Spectrum-XまたはBroadcom Tomahawk 6を推奨しています。CPUノードはGPUの周辺サービスを実行し、ストレージはGPUあたり1 TB以上の使用可能容量を持つベンダー管理型アプライアンスか、自社のソフトウェアを稼働させるストレージノードのいずれかです。設計と納品については専用GPUクラスターのページで、エッジ、DDoS対策、自社のIPアドレス空間についてはストレージとネットワークで説明しています。
レンタルの流れ
HGX B300は割り当て受付中です。サーバー単位でレンタルし、すべての価格は提案書で提示します。
ご依頼と提案書
必要なサーバー台数、期間、開始時期をお知らせください。当社から質問または提案書をお送りします。
オンボーディングと契約
サーバーを実際に使用する企業が3種類のオンボーディング書類に記入し、36カ月、48カ月、60カ月のいずれかの契約に署名して、頭金を支払います。契約期間が長いほど料金は低くなります。
構築とバーンイン
納品仕様書に沿って構築し、NVIDIAのハードウェア検証テストHW-1〜HW-5を実施します。結果は検収テスト報告書に記載します。
運用
請求は契約期間を通じて一律の固定料金による月次請求で、エグレス料金はかかりません。当社の運用コミットメントのもと、共有Slackチャンネルで当社のエンジニアと連携し、専任のテクニカルアカウント担当者が対応します。
HGX B300のキャパシティは、稼働中のトロントと、稼働準備中の米国デラウェア州にあります。大規模な割り当てでは、銀行保証や信用状(L/C)などの支払保証が必要になる場合があります。各ステップは導入の流れのページで説明しています。
ワークロードと代替の選択肢
GPUあたりのメモリやGPU間の帯域幅が制約になる場合は、HGX B300をお選びください。長時間の事前学習、事後学習と強化学習、GPUあたり180 GBを超えるメモリを必要とするモデルの推論が該当します。スタックのその他の部分についてはAI学習とAI推論のページで説明しており、具体的な数値は2本の記事、8 x 270 GB:B300ノードに何が収まるかとAIモデル開発企業向けのB300で検討しています。
FP64が必要な場合やGPUあたり180 GBに収まる場合は、HGX B200をご検討ください。単一のNVLinkドメインで72基のGPUが必要な場合は、GB300 NVL72ラックを予約制で提供しています。
導入検討時のよくあるご質問
HGX B300サーバーは何台レンタルできますか?
8基のGPUを搭載した単体のサーバーから専用クラスターまで対応します。リファレンスクラスターは64ノード、128ノード、288ノード(512〜2,304基のGPU)で、設計上はそれ以上にも拡張できます。詳しくは専用GPUクラスターをご覧ください。
契約前にHGX B300サーバーをテストできますか?
トライアルやPoC(概念実証)は実施していません。すべてのクラスターは引き渡し前にNVIDIAのハードウェア検証テストHW-1〜HW-5に合格しており、その結果は検収テスト報告書でお受け取りいただけます。詳しくはバーンインと検収をご覧ください。
HGX B300サーバーはどこで運用されていますか?
稼働中のカナダ・トロントと、稼働準備中の米国デラウェア州です。設置場所は提案書に明記します。
どのような契約期間を選べますか?
36カ月、48カ月、60カ月のいずれかで、期間が長いほど料金は低くなります。契約締結時に頭金をお支払いいただき、以降は契約期間を通じて一律の固定月額料金をお支払いいただきます。エグレス料金はかかりません。
HGX B300はFP64シミュレーションに適していますか?
いいえ。NVIDIAの公表値では、8基のGPUを搭載したHGX B300のFP64性能は10 TFLOPSで、HGX B200は296 TFLOPSです。FP64を多用する処理には、HGX B200をご検討ください。
クラスター上のKubernetesやSlurmの運用を任せられますか?
はい、オプションとして対応します。NVIDIA GPU OperatorとNetwork Operatorを組み込んだKubernetes、またはマネージドSlurmのインストール、運用、アップグレード、監視を当社が行い、料金はレンタル料金に加算する形で提案書に記載します。詳しくはマネージドKubernetesをご覧ください。