1LegionのAI学習向けGPUクラスターは、お客様のトラフィックだけを流すEast-Westファブリックで接続したNVIDIA HGX B300サーバーをサーバー単位で組み合わせたもので、1社の顧客に36カ月、48カ月、60カ月のいずれかの期間でレンタルします。各クラスターは当社が公開している納品仕様書に沿って構築し、引き渡し前にバーンインを実施するため、数週間にわたる学習ジョブの最初のステップは、すでに24時間連続負荷テストに合格したノードで始まります。
LLM学習インフラが維持すべき条件
数週間に及ぶ学習ジョブには、オプティマイザーの状態を保持するメモリ、低速なリンクのないファブリック、高速なチェックポイント用ストレージ、実行中に変化しない環境が必要です。
オプティマイザーの状態を保持するメモリ
Adamオプティマイザーを用いた混合精度学習では、重み、勾配、オプティマイザーの状態で、パラメーターあたり約16バイトを使用します。70Bパラメーターのモデルではアクティベーションを除いて約1.1 TBとなり、HGX B300サーバー1台の2.1 TBのHBM3eに収まります。
低速なリンクのないファブリック
シャーディングやデータ並列による学習では、ステップごとにすべてのGPU間で勾配を同期するため、1本のリンクが輻輳するだけでクラスター全体が遅くなります。当社のHGX B300のファブリックは、GPUあたり800 Gb/sで完全なノンブロッキングです。
チェックポイントのスループット
70Bパラメーターのモデルで、FP32のマスター重みとAdamの状態を含むチェックポイントは約840 GBになり、同期保存では書き込みが完了するまですべてのGPUが待機します。ストレージはGPUあたりの容量で設計し、チェックポイントをクラスター外に転送してもエグレス料金はかかりません。
変化しない環境
お客様のサーバーやファブリックを他のテナントと共有することはありません。当社側の変更は書面による変更管理に従い、高リスクメンテナンスは7日以上前に事前通知します。
学習のスループットを決めるのがGPUの数ではなくメモリとインターコネクトである理由は、学習のボトルネックに関する記事で解説しています。
学習ワークロードに適したサーバー
HGX B300は当社の主力学習プラットフォームで、HGX B200も割り当て受付中です。GB300 NVL72とVera Rubinは予約制で提供します。
- GPUあたりのメモリ
- 270 GB HBM3e
- サーバーあたりのGPU数
- 8
- GPUあたりのメモリ
- 180 GB HBM3e
- サーバーあたりのGPU数
- 8
- GPUあたりのメモリ
- 279 GB HBM3e
- ラックあたりのGPU数
- 72
- GPUあたりのメモリ
- 288 GB HBM4
- サーバーあたりのGPU数
- 8
| 8 GPU構成のサーバー | HGX B300 | HGX B200 |
|---|---|---|
| サーバーあたりのGPUメモリ | 2.1 TB HBM3e | 1,440 GB HBM3e |
| GPUあたりのメモリ帯域幅 | 7.7 TB/s | 7.7 TB/s |
| NVLink | GPUあたり1.8 TB/s、合計14.4 TB/s | GPUあたり1.8 TB/s、合計14.4 TB/s |
| サーバーあたりのFP4 Tensor性能（スパース、密） | 144 PFLOPS、108 PFLOPS | 144 PFLOPS、72 PFLOPS |
| サーバーあたりのFP8 Tensor性能（スパース） | 72 PFLOPS | 72 PFLOPS |
| サーバーあたりのFP64 | 10 TFLOPS | 296 TFLOPS |
GPUあたりのメモリでシャーディングの方法が決まる場合はHGX B300をお選びください。270 GBあれば、70BパラメーターのモデルのBF16の重み140 GBを1基のGPUに収めても、130 GBの余裕があります。学習とFP64のシミュレーションを組み合わせる場合はHGX B200をお選びください。GB300 NVL72は、72基のBlackwell Ultra GPUと36基のGrace CPUを、20 TBのHBM3eと130 TB/sのNVLink帯域幅を備えた液冷式の単一NVLinkドメインに統合します。Vera Rubinは当社が発注済みのNVIDIAの次期プラットフォームで、GPUあたり288 GBのHBM4と第6世代NVLinkを備えます。
専用のノンブロッキングファブリック
すべてのHGX B300クラスターに、レール最適化された完全ノンブロッキングの専用East-Westファブリックを、GPUあたり800 Gb/sで用意します。
- 帯域幅：GPUあたり1 x 800 Gb/sまたは2 x 400 Gb/sのプレーン、サーバーあたり6.4 Tb/s。NVIDIA ConnectX-8を推奨します。
- スイッチ：NVIDIA Spectrum-XまたはBroadcom Tomahawk 6を推奨し、NVIDIA Quantum InfiniBandまたはTomahawk 5も可とします。
- サーバー内：GPUあたり1.8 TB/sの第5世代NVLink。
- ストレージとサービス：ノードあたり400 Gb/sの独立したNorth-Southネットワークを推奨します。RoCEv2対応、MTU 9000で、ストレージ用のリーフスイッチにオーバーサブスクリプションはありません。
クラスターには3つのリファレンス規模があり、より大規模なクラスターも同じ設計に従います。
| 項目 | 64ノード | 128ノード | 288ノード |
|---|---|---|---|
| GPUノード（各ノード8基のGPU） | 64 | 128 | 288 |
| GPU | 512 | 1,024 | 2,304 |
| CPUノード | 24 | 48 | 108 |
| コントロールプレーンノード | 6 | 6 | 6 |
| ストレージ：アプライアンス方式（使用可能容量） | 512 TB | 1,024 TB | 2,304 TB |
| ストレージ：ストレージノード方式 | 9ノード | 17ノード | 38ノード |
| 推定IT負荷 | 約0.98 MW | 約1.95 MW | 約4.39 MW |
各規模には推論の提供、ルーティング、バッチ処理用のCPUノードが含まれ、クラスター内のGPUあたり6以上のハードウェアスレッドと24 GB以上のメモリを備えます。また、2ラックに分散した6ノードのコントロールプレーンも含まれます。GPUノードあたり約14 kWの電力計画については、GPUクラスターのページで説明しています。
チェックポイントとデータセットのストレージ
ストレージには2つの選択肢があり、いずれもGPUあたりの容量で設計します。さらに、各GPUノードにはデータセットのシャードとチェックポイントのステージング用に、物理容量で9.2 TB以上のローカルNVMeが加わります。
オプションA：マネージドアプライアンス
ご希望に応じてVAST Data、WEKA、DDNのいずれかのアプライアンスを用意し、GPUあたり1 TB以上の使用可能容量（64ノードのクラスターで512 TB）、ティアごとに確約したスループットとレイテンシ、使用量とクォータの可視化、検証済みのリカバリ、24/7のベンダーエスカレーションを提供します。
オプションB：お客様独自のソフトウェア用のストレージノード
30.72 TBのNVMe PCIe 5.0ドライブを使用し、GPUあたり物理容量で3 TB以上を確保するストレージノードで、最小構成は9ノードです。自己暗号化ドライブにも対応しています。両方の選択肢について、ストレージとネットワークで説明しています。
学習ジョブ実行中の障害対応
実行中にハードウェアが故障した場合は、そのノードをサービスから外して修理または交換するため、ジョブを正常なノードで再開できます。
- 致命的なGPU障害（XID 79、XID 48、ダブルビットECCエラー、行リマッピングの失敗）が発生したノードは、直ちに隔離します。
- 繰り返し発生するXID 13とXID 31のエラーは、お客様と合意した回数に達した時点で対処します。
- NCCLのハングはファブリックのイベントと突き合わせて分析し、停止したジョブの原因となったリンクを特定します。
- サイレントデータ破損の疑いがあるノードは隔離したままにします。
- NVMeドライブは耐久性の限界に達する前に交換します。
運用テレメトリは30日以上、インシデントと状態の履歴は12カ月以上保管します。全項目は運用コミットメントに掲載しており、障害のパターンについては共有クラウドで長時間の学習ジョブが失敗する理由の記事で解説しています。
トライアルに代わるバーンイン
すべてのクラスターは引き渡し前にNVIDIAのハードウェア検証テストHW-1〜HW-5に合格し、その結果は検収テスト報告書に記載されます。
- HW-1
集団通信スループット
nccl-testsでベースラインのNCCLスループットを測定します。ファブリックが対応している場合は、SHARPで高速化した集団通信も対象とします。
nccl-tests - HW-2
すべてのネットワークレール
InfiniBandまたはRoCEのすべてのレールをib_write_bwでテストします。
ib_write_bw - HW-3
GPUDirectとストレージ
NVMeの読み書きを含め、GPUDirect RDMAとストレージのスモークテストを実施します。
GPUDirect RDMA, NVMe - HW-4
NVLinkとNVSwitch
NVLinkとNVSwitchのリンク数と帯域幅をnvbandwidthで確認します。
nvbandwidth - HW-5
24時間連続負荷テスト
代表的な推論負荷のもと、電力上限を一定に保った状態で24時間の連続負荷テストを実施します。
電力上限下での推論負荷
トライアル、PoC（概念実証）、短期レンタルは提供していません。検収テスト報告書には、NCCLのスループット、InfiniBandまたはRoCEのすべてのレール、NVLinkとNVSwitchのリンク、24時間連続負荷テストの結果を、お客様が実際に学習に使うノードで測定して記載します。バーンインと検収の流れをご覧ください。
36〜60カ月の契約期間でモデル学習用GPUをレンタル
学習クラスターはサーバー単位で、36カ月、48カ月、60カ月のいずれかの期間、一律の固定月額料金でレンタルします。契約期間が長いほど料金は低くなります。
見積もりを依頼
モデルのサイズ、サーバー台数、契約期間、設置拠点、必要な時期をお知らせください。
提案書
当社の納品仕様書に基づく提案書をお送りします。必要な変更は、それぞれ番号付きの仕様差異として記載します。
オンボーディングと契約
サーバーを実際に使用する企業が当社の3種類のオンボーディング書類に記入し、レンタル契約書に署名して頭金を支払います。
構築、バーンイン、引き渡し
トロント、またはデラウェア州の拠点が稼働した後は同拠点でクラスターを構築してバーンインを行い、検収テスト報告書、共有Slackチャンネル、専任のテクニカルアカウント担当者とともに引き渡します。
残額は契約期間を通じて月次請求し、エグレス料金はかかりません。大規模な割り当てには、銀行保証または信用状（L/C）が必要になる場合があります。プラットフォーム層の運用をご希望の場合は、NVIDIA GPU OperatorとNetwork Operatorを組み込んだマネージドKubernetes、またはマネージドSlurmを当社がインストールし、運用します。AIラボが固定の契約期間に合わせて学習キャンペーンをどう計画するかは、専用B300での持続的な学習の記事で紹介しています。
導入検討時のよくあるご質問
レンタルできる最小の学習クラスターはどの規模ですか？
サーバー単位でレンタルしているため、最小単位は8基のGPUを搭載したHGX B300サーバー1台を36カ月の契約期間でレンタルする形です。リファレンスクラスターは単一の専用ファブリック上の64ノード、128ノード、288ノードで、より大規模なクラスターも同じ設計に従います。
契約前にクラスターをテストできますか？
トライアルやPoCは提供していません。すべてのクラスターは引き渡し前にNVIDIAのHW-1〜HW-5のハードウェア検証テストに合格し、その結果を検収テスト報告書でお受け取りいただけます。バーンインと検収をご覧ください。
学習用ファブリックはInfiniBandとEthernetのどちらで構築しますか？
当社の納品仕様書では、NVIDIA Spectrum-XまたはBroadcom Tomahawk 6を推奨し、NVIDIA Quantum InfiniBandまたはTomahawk 5も可としています。いずれの場合も、ファブリックはレール最適化された完全ノンブロッキング構成で、GPUあたり800 Gb/s、お客様専用です。
チェックポイント用にはどのストレージを選ぶべきですか？
オプションAは、GPUあたり1 TB以上の使用可能容量と24/7のベンダーエスカレーションを備えたVAST Data、WEKA、DDNのいずれかのアプライアンスです。オプションBは、お客様が自ら運用するストレージソフトウェア用の、GPUあたり物理容量3 TB以上のストレージノードです。
実行中にGPUが故障した場合はどうなりますか？
XID 79やダブルビットECCエラーなどの致命的な障害が発生したノードは直ちに隔離し、修理または交換してからクラスターに戻します。インシデントコマンダーは15分以内に任命します。
学習クラスターを1年または2年の契約期間で利用できますか？
いいえ。GPUサーバーのレンタル期間は36カ月、48カ月、60カ月のいずれかで、契約期間が長いほど料金は低くなります。