1LegionのマネージドKubernetesは、共有ノードではなく、お客様専用のGPUサーバー上で動作します。当社はNVIDIA GPU OperatorとNetwork Operatorを使ってクラスターをインストールし、その後の運用、アップグレード、監視、オンコール対応を担います。お客様のチームはKubernetesを通じてワークロードを展開し、当社はプラットフォームと、その下にあるGPUやファブリックを正常に稼働させ続けます。
ベアメタルGPUサーバー上のKubernetes
2つのNVIDIA OperatorがすべてのノードにGPUとネットワークのソフトウェアを導入するため、ハードウェアはPodが要求できるリソースとしてKubernetesに表示されます。
NVIDIA GPU Operator
すべてのGPUノードで、NVIDIAドライバー、NVIDIA Container Toolkit、Kubernetesデバイスプラグイン、GPU Feature Discoveryのラベル、DCGMベースの監視を管理します。PodはGPUをnvidia.com/gpuとして要求します。
NVIDIA Network Operator
ホストのネットワークソフトウェアとして、NVIDIAネットワークドライバー、デバイスプラグイン、CNIプラグイン、IPアドレス管理をインストールし、PodがRDMAファブリックとGPUDirect RDMAを使えるようにします。
サーバーはベアメタルのため、PodとGPUの間にハイパーバイザーはなく、ノード上に他のお客様のワークロードもありません。HGX B300クラスターでは、各GPUノードが、GPUごとに270 GBのHBM3eを備えた8基のGPU、GPUあたり800 Gb/sのファブリック、9.2 TB以上のローカルNVMeを備え、そのすべてをお客様のワークロードだけが使用できます。CPUノードは、サービング、ルーティング、バッチ処理など、GPUの周辺で動くサービスを担い、GPUあたりハードウェアスレッド6以上、メモリ24 GB以上を備えます。
GPU Feature Discoveryが各ノードにGPUモデル、メモリ、ドライバーのバージョンのラベルを付けるため、デプロイメントは通常のノードセレクターで必要なノードを選択できます。
「マネージド」の意味
クラスターを管理する期間中、当社は運用、アップグレード、監視、そして時間帯を問わない責任ある対応という4つの業務を担います。
運用
コントロールプレーン、両方のOperator、すべてのノードを当社が運用します。致命的なGPU障害（XID 79、XID 48、ダブルビットECCエラー、行リマッピングの失敗）が発生したノードは直ちに隔離します。
アップグレード
Kubernetes、Operator、GPUドライバーのアップグレードは書面による変更管理のもとで行い、高リスクの作業は7暦日以上前に通知します。
監視
すべてのGPUのDCGMメトリクスに加え、BMCとRedfishによるアウトオブバンドのハードウェアテレメトリを収集します。運用テレメトリは30日以上、インシデントと状態の履歴は12カ月以上保持します。
オンコール
対応能力のあるオンコール担当者に連絡できる、独立したテスト済みの2つの手段を、毎日24時間用意しています。インシデントは15分以内に受付を確認し、インシデントコマンダーを任命します。
ネットワーク運用チームは時間帯を問わず15分以内に、施設エンジニアリングまたはリモートハンドは45分以内に対応を開始します。繰り返し発生するXID 13とXID 31のエラーは、お客様と合意した回数に達した時点で対処します。長時間の学習ジョブでは、さらに2つのコミットメントが重要です。NCCLのハングをファブリックのイベントと関連付けて分析すること、そしてNVMeドライブを耐久性の限界に達する前に交換することです。
責任の分担
ハードウェアからKubernetesまでのプラットフォームは当社が運用し、その上に展開するものはお客様が運用します。
| 項目 | 1Legionの担当 | お客様の担当 |
|---|---|---|
| サーバー、電力、冷却 | ハードウェア、施設、冷却の障害を特定して修復 | 異常があれば共有Slackチャンネルで報告 |
| GPU障害 | 致命的なGPU障害が発生したノードを直ちに隔離し、サイレントデータ破損が疑われるノードは隔離したまま保持 | 正常なノードで再開できるよう、ジョブのチェックポイントを取得 |
| Kubernetesとノードのソフトウェア | Kubernetes、GPU Operator、Network Operator、GPUドライバーのインストール、アップグレード、監視 | お客様のソフトウェアが依存するバージョンを当社に連絡 |
| ファブリックとエッジ | East-Westファブリック、North-Southネットワーク、エッジを運用し、エッジのACL変更を1営業日以内に適用 | エッジのACLルールと、サービスが公開する内容を決定 |
| インシデント | 15分以内に受付を確認してインシデントコマンダーを任命し、少なくとも60分ごとに状況を更新し、お客様に影響したインシデントについては7日以内にポストモーテム（事後報告書）を作成 | 共有チャンネルまたはオンコールの連絡経路で問題を報告 |
| ワークロード | ワークロードが動作するノードとGPUを稼働状態に維持 | コンテナ、モデル、データセット、チェックポイント、およびそれらを使うデプロイメントとジョブ |
| 監視 | クラスター、ノード、GPUの健全性を監視 | お客様自身のアプリケーションとモデルを監視 |
アップグレードとメンテナンス
クラスターへの変更はすべて書面による変更管理に従い、緊急でない高リスクメンテナンスは7暦日以上前に通知します。
このルールは、ハードウェアに対する作業と同様に、Kubernetes、2つのOperator、GPUドライバーのアップグレードが高リスクとなる場合には常に適用されます。インシデント中のサービス復旧などの緊急作業は、代わりにインシデント対応のプロセスに従います。共有クラウドで長時間の学習ジョブが失敗する理由では、予告なしのドライバー更新が実行中のジョブに何をもたらし得るかを紹介しています。正式なインベントリはすべてのノード、GPU、NIC、ドライブを記録し、合意したベースラインとの差異（ドリフト）を検出し、状態の変化を機械可読形式のエクスポートで5分以内にお客様が確認できるようにします。お客様のサーバーへの当社のアウトオブバンドアクセスは監査されます。
マネージドSlurm
マネージドSlurmは、処理をバッチジョブとしてスケジュールしたいチーム向けの選択肢です。
学習ジョブをsbatchやsrunで投入し、パーティションと優先度でキューに入れる研究チームは、KubernetesよりもSlurmを好むことがよくあります。当社はお客様のチームが希望するスケジューラーを運用し、提案書に明記します。サーバー、ファブリック、HW-1〜HW-5のバーンインはどちらでも同じで、当社のインシデントコマンダーが参加する共有チャンネルも同じです。両者の基盤となるハードウェアについてはGPUクラスターをご覧ください。
マネージドKubernetesの料金設定
マネージドKubernetesは、サーバーレンタルに加えて料金を設定する管理サービスで、提案書には個別の項目として記載します。
公開料金はなく、セルフサービスでの申し込みもありません。当社はインベントリ、監視、バーンイン自動化のための独自のプラットフォームソフトウェアを開発中です。現在は、共有Slackチャンネル、専任のテクニカルアカウント担当者、引き渡し時の検収テスト報告書、当社が送付するレポートを通じてやり取りいただきます。契約条件、請求、オンボーディングについては導入の流れで説明しています。
導入検討時のよくあるご質問
どのNVIDIAソフトウェアをインストールしますか？
NVIDIA GPU OperatorとNVIDIA Network Operatorです。この2つで、すべてのノードのGPUドライバー、コンテナツールキット、デバイスプラグイン、GPU Feature Discovery、DCGMによる監視、RDMAネットワークソフトウェアを管理します。
マネージドSlurmは提供していますか？
はい。マネージドSlurmはバッチスケジューリングを好むチーム向けの選択肢で、当社が運用するスケジューラーは提案書に明記します。
GPUが故障した場合はどうなりますか？
XID 79、XID 48、ダブルビットECCエラー、行リマッピングの失敗などの致命的なGPU障害が発生したノードは直ちに隔離し、当社が障害を特定して修復します。
メンテナンスの事前通知はどのくらい前に行われますか？
緊急でない高リスクメンテナンスについては7暦日以上前に通知し、すべての変更は書面による変更管理に従います。
クラスター用のWebコンソールはありますか？
まだありません。当社は独自のプラットフォームソフトウェアを開発中です。現在は、共有Slackチャンネル、専任のテクニカルアカウント担当者、書面のレポートを通じてやり取りいただきます。
マネージドKubernetesの料金はどのように設定されていますか？
サーバーレンタルに加える管理サービスとして、提案書に記載します。価格は公開していません。