当社のHGX B300納品仕様書

仕様書は基準を定め、提案書ではその基準からの変更をすべて番号付きの仕様差異として記録します。文書の各項目は「必須」または「推奨」のいずれかです。このページでは、最低要件を「以上」または「最低」と表記し、推奨される選択肢には「推奨」と記載しています。

仕様書では、GPUノード数が64、128、288の3つのリファレンスクラスターを定義しており、各規模にはそれに対応するCPUノード、コントロールプレーン、ストレージが含まれます。

どのリファレンス規模でもコントロールプレーンノードは6ノードで、仕様書ではコントロールプレーンを2,304基のGPUあたり6ノードと定めています。ストレージの2行は、以下で説明する2つのストレージ方式に対応しており、アプライアンスの場合は使用可能容量、ストレージノードの場合はノード数を示します。

計画電力

推定IT負荷は、以下の計画値をもとに算出しています。

64ノード規模の場合、GPUノード64ノード（各約14 kW）、CPUノード24ノード、コントロールプレーンノード6ノード、ストレージノード9ノード、GPU負荷の5%にあたるネットワークの合計で、約0.98 MWになります。施設の電力はこれらの数値から計画し、施設に求める最も重要な数値はラックあたりの契約上の最大kWです。その他の要件はデータセンターのページに記載しています。

すべてのクラスターは、GPU間トラフィック用の専用East-Westファブリックと専用North-Southネットワークを持ち、エッジでは冗長化されたトランジット、DDoSスクラビング、NAT、専用のパブリックアドレスが提供されます。

East-Westファブリック

レール最適化とは、各ノードの同じ位置にあるGPUが、それぞれ専用のスイッチ群（レール）に接続される構成を指します。これにより、対応するGPU間の経路が短く保たれます。完全ノンブロッキングとは、スイッチ層間でオーバーサブスクリプションがなく、ファブリックがすべてのGPUの全帯域幅を同時に処理できることを意味します。

North-Southネットワーク

オーバーサブスクリプションとは、リーフスイッチがノードに提供する帯域幅と、そのアップリンクの帯域幅との比率です。ストレージ用リーフにはオーバーサブスクリプションがないため、読み込みやチェックポイントの書き込みがアップリンクで制約されることはありません。GPU用リーフは4:1未満に抑えています。RoCEv2はこのイーサネットネットワーク上でRDMAを伝送し、MTU 9000（ジャンボフレーム）により、大容量転送時のパケットごとのオーバーヘッドを削減します。

エッジとインターネットサービス

• トランジットとルーティング：物理的に分離された経路上に独立した2社のプロバイダーを置くことで、ケーブル1本の切断や1社のプロバイダーの障害が単一障害点になりません。BFDが障害の発生したリンクをすばやく検知し、eBGPが1分以内にもう一方のプロバイダーへフェイルオーバーします。
• エッジルーター：A系・B系電源で給電される2台の冗長ルーターにより、エッジは1台のルーターや1系統の給電に依存しません。
• エッジACL：エッジのアクセス制御リストはお客様のルールに従い、変更は1営業日以内に行います。
• DDoS対策：レイヤー3・4のボリューム型攻撃は、BGPを通じて実績のあるスクラビングプロバイダーに転送されます。スクラビングは5分以内に有効化され、キャパシティは1 Tb/s以上です。
• NATとエグレス：送信トラフィックは、1,000万以上の同時セッションを保持できる冗長ペアを経由し、お客様専用のSNATアドレスから送出されます。そのため、取引先はお客様のトラフィックを許可リストに登録できます。
• 公開サービス用アドレス：お客様のサービス用に、通常8つの専用アドレスを提供します。BGPで仮想IPを広報でき、フェイルオーバーは5秒以内に行われ、IPv6はデュアルスタックで動作します。
• お客様のIPアドレス空間とASN：お客様が独自のプレフィックスとASNを保有している場合、エッジでそれらを広報できます。当社はお客様のRPKI ROA（Route Origin Authorization）を遵守します。ROAは、どのASNがお客様のプレフィックスを発信できるかを他のネットワークに示すものです。また、BGPセッションを認証します。
• ネットワークテレメトリ：両方のエッジルーターがNetFlow v9またはIPFIXのフローレコードをお客様のコレクターに送信するため、お客様は自社のトラフィックを確認できます。

仕様書は、引き渡しの前後に行うことも対象としています。引き渡し前のバーンインと、引き渡し後の書面による運用コミットメントです。

引き渡し前に、すべてのクラスターは推論プロバイダー向けのNVIDIAハードウェア検証（HW-1〜HW-5のテスト）に合格し、その結果を検収テスト報告書としてお渡しします。各テストで証明されることはバーンインと検収のページで説明しています。

以下のコミットメントをはじめとして、引き渡し後のクラスターの運用方法を仕様書のセクション15に定めています。

インベントリ、変更管理、ハードウェア障害の対応を含む全項目は、運用コミットメントのページに掲載しています。アウトオブバンドのハードウェアテレメトリはRedfishを通じてBMCから取得し、利用可能な場合はネットワークと施設のテレメトリも取得します。運用テレメトリは30日以上、インシデントと状態の履歴は12カ月以上保存します。

スペックシートはPDFファイルで提供しており、お客様のエンジニアや調達チームがレビュー・共有できます。

• NVIDIA HGX B300サーバーのスペックシートPDF。GPUノード、CPUノードとコントロールプレーンノード、ネットワークインターフェース。 PDFをダウンロード
• HGX B300リファレンスクラスター：64、128、288ノードPDF。クラスターの規模、ストレージ、ファブリック、エッジネットワーク。 PDFをダウンロード
• データセンターパートナー要件（概要）PDF。電力、冷却、認証のエビデンス、人員体制、接続性。 PDFをダウンロード
• 1Legionの契約の仕組みPDF。契約条件、オンボーディング、請求、含まれる内容。 PDFをダウンロード

当社が公開しているすべての文書はダウンロードページにあります。この仕様書に照らして構成を検討するには、エンジニアにご相談ください。