専用GPUクラスター

ストレージとファブリック周辺のネットワークは、GPUと同じ文書の中で、GPUあたり・ノードあたりの仕様を定めています。

• ストレージ（オプションA）：VAST Data、WEKA、DDNのいずれかによるベンダー管理型アプライアンス。GPUあたり使用可能容量1 TB以上で、ベンダーへの24/7のエスカレーションと、ティアごとにコミットされたスループットとレイテンシを備えます。
• ストレージ（オプションB）：自社のストレージソフトウェアを稼働させるストレージノード。30.72 TBのNVMe PCIe 5.0ドライブでGPUあたり物理容量3 TB以上、9ノード以上。
• North-South：ノードあたり400 Gb/sを推奨（最低200 Gb/s）。ストレージリーフではオーバーサブスクリプションなし、GPUリーフでは4:1未満。RoCEv2とMTU 9000。
• エッジ：回線あたり100 Gb/sの独立した2社のトランジット事業者、BFDを併用したeBGP、BGP経由で5分以内に有効化するDDoSスクラビング。

NAT、パブリックアドレス、自社のIPアドレス空間とASN、フローテレメトリについては、ストレージとネットワークで説明しています。

GPUノードあたり約14 kWを見込んで計画してください。CPUノード、コントロールプレーン、ストレージノード、ネットワークを加えると、64ノードのクラスターには約0.98 MWのIT負荷が必要です。

同じ方法で計算すると、128ノードでは約1.95 MW、288ノードでは約4.39 MWとなります。14 kWという値は空冷式HGX B300ノードの計画上の想定値で、NVIDIAは自社のDGX B300システムについて約14 kWと公表しています。施設はラックあたりの契約上の最大kWをコミットする必要があり、その値によってラックあたりに収容するGPUノードの数が決まります。設置場所に求めるその他の要件はデータセンターに記載しています。

クラスターは5つのステップで提案から本番稼働へと進み、検収テスト報告書が構築と運用の境目となります。

1. 提案書

   納品仕様書に基づく提案書を提出します。すべての項目に「必須」または「推奨」を明記し、お客様が必要とする変更はすべて番号付きの仕様差異として記載します。

2. 契約とオンボーディング

   クラスターを実際に使用する企業が、3種類のオンボーディング書類への記入、レンタル契約書への署名、頭金の支払いを行います。大規模な割り当てでは、銀行保証または信用状（L/C）が必要になる場合があります。

3. 構築

   サーバーをラックに搭載し、ファブリック、North-Southネットワーク、エッジを構築したうえで、すべてのラック、ノード、GPU、NIC、ドライブ、スイッチ、ポート、トランシーバー、ケーブルを正式なインベントリに記録します。

4. バーンイン

   クラスターは、NVIDIAのハードウェア検証テストHW-1〜HW-5（NCCLスループット、すべてのファブリックレール、GPUDirect RDMAとストレージ、NVLinkとNVSwitch、一定の電力上限を維持した24時間連続負荷テスト）に合格します。

5. 引き渡しと運用

   すべての結果を記載した検収テスト報告書を提出します。その後は、共有Slackチャンネルと専任のテクニカルアカウント担当者を通じて、当社の運用コミットメントに沿ってクラスターを運用します。

各テストの内容と、ノードがテストに不合格となった場合の対応は、バーンインと検収で説明しています。