ストレージとネットワーク

GPUあたり1 TB以上の使用可能なストレージ容量、専用のNorth-Southネットワーク、2社のトランジット事業者、DDoSスクラビング、お客様独自のIPアドレス空間とASN。いずれも当社の納品仕様書で定めています。

1LegionのGPUクラスターでは、ストレージとネットワークもGPUと同じくらい厳密に仕様を定めています。GPUあたりの容量で設計するストレージ、専用のNorth-Southネットワーク、DDoSスクラビングを備えた冗長構成のインターネットエッジ、お客様独自のアドレスとASNへの対応です。このページの数値はすべてHGX B300クラスター向けの当社の納品仕様書に基づくもので、番号付きの仕様差異がある場合は提案書に記載します。その他のサーバーについては、ストレージとネットワークをお客様の要件に合わせて構成し、提案書で確定します。

2つのストレージオプション

ベンダー管理型のストレージアプライアンスか、お客様独自のソフトウェアを実行するストレージノードのいずれかをお選びください。どちらもクラスター内のGPU数に応じて容量を決めます。

オプションA:ストレージアプライアンスオプションB:ストレージノード
提供内容ご希望に応じて、VAST Data、WEKA、DDNのいずれかのベンダー管理型アプライアンスお客様独自のストレージソフトウェア用のストレージノード
容量GPUあたり使用可能容量1 TB以上GPUあたり物理容量3 TB以上
ドライブベンダーがサポートする設計30.72 TBのNVMe PCIe 5.0、自己暗号化ドライブに対応
リファレンス規模64ノード、128ノード、288ノードでそれぞれ使用可能容量512 TB、1,024 TB、2,304 TB9ノード、17ノード、38ノード(最小9ノード)
サービス24/7のベンダーエスカレーション、ティアごとに確約したスループットとレイテンシ、使用量とクォータの可視化、検証済みのリカバリハードウェアの運用と、耐久性の限界に達する前のNVMeドライブの交換は当社、ストレージソフトウェアの運用はお客様

物理容量(raw)はお客様のストレージソフトウェアによるデータ保護を適用する前の容量で、使用可能容量はベンダーのデータ保護を適用した後にアプライアンスが提供する容量です。オプションAは、スループット、レイテンシ、リカバリについて1社のベンダーに責任を持たせたいチームに適しています。オプションBは、すでに独自のストレージソフトウェアを運用しており、マネージドシステムではなくドライブとノードを求めるチームに適しています。

各GPUノードには専用のNVMeも搭載されます。ローカルデータ用に物理容量で9.2 TB以上(ノードのGPUメモリ2.1 TBの4倍超)と、ミラー構成の1 TBブートドライブ2台(推奨)です。バーンインテストのHW-3では、GPUDirect RDMAと、NVMeの読み書きを含むストレージのスモークテストを行います。

学習では、チェックポイントのサイズと頻度によって必要な書き込みスループットが決まります。長時間の学習ジョブにおけるストレージI/Oとチェックポイントについては、共有クラウドで長時間の学習ジョブが失敗する理由で解説しています。

North-Southネットワーク

North-Southネットワークはすべてのノードをストレージ、CPUサービス、エッジに接続し、GPUファブリックと同様に、お客様のトラフィックだけを流します。

  • ノードあたり:推奨400 Gb/s、最低200 Gb/s。NVIDIA BlueField-3のフロントエンドNIC(2 x 400 Gb/sを推奨、または2 x 200 Gb/s)を使用します。
  • オーバーサブスクリプション:ストレージ用のリーフスイッチではなし(アップリンクが配下のすべてのポートの帯域幅と同等)。GPU用のリーフスイッチでは4:1未満。
  • プロトコル:RoCEv2に対応しているため、ストレージとサービスのトラフィックはルーティングされたEthernet上でRDMAを利用でき、MTU 9000のジャンボフレームを使用します。
  • テナンシー:1社の顧客専用で、GPUクラスターで説明しているEast-WestのGPUファブリックとは分離されています。

インターネットエッジとDDoS対策

お客様のクラスターは、独立した2社のトランジット事業者と冗長構成の2台のエッジルーターを経由してインターネットに接続し、DDoSスクラビングはBGP経由で5分以内に有効化されます。

100 Gb/s 2社のトランジット事業者それぞれの回線あたり
1分 トランジット経路間のフェイルオーバー時間(最大)
5分 BGP経由でDDoSスクラビングを有効化するまでの時間
1 Tb/s DDoSスクラビングの最低処理能力
  • トランジット:回線あたり100 Gb/sの独立した2社の事業者を物理的に異なる経路で接続しているため、1本の光ファイバーが切断されても両方が停止することはありません。
  • ルーティング:BFDを併用したeBGPにより、障害の発生した経路を検知し、1分以内にトラフィックをフェイルオーバーします。
  • エッジルーター:A系・B系電源に接続した冗長構成の2台。
  • エッジACL:お客様のルールに沿って作成し、変更は1営業日以内に反映します。
  • DDoS対策:実績のあるプロバイダーによるレイヤー3およびレイヤー4のボリューム型攻撃のスクラビングで、BGP経由で5分以内に有効化します。処理能力は1 Tb/s以上です。

NATとパブリックアドレス

アウトバウンドトラフィックは、お客様だけが使用するアドレスで冗長構成のNATペアを経由して送出され、インバウンドのサービスには5秒以内にフェイルオーバーする専用のパブリックアドレスが割り当てられます。

NATとエグレス

冗長化された高可用性のNATペアが、専用のSNATアドレス(通常4個)で1,000万以上の同時セッションを処理するため、取引先はお客様のアウトバウンドトラフィックをアドレスで許可リストに登録できます。

公開サービス用アドレス

専用のパブリックアドレス(通常8個)が提供され、サービスのVIPをBGPで広報でき、5秒以内にフェイルオーバーします。IPv6はIPv4とのデュアルスタックで動作します。

お客様独自のIPアドレス空間とASNの持ち込み

お客様独自のIPアドレス空間とASNをお持ちの場合は、当社のエッジで広報できるため、ユーザーや取引先がすでに把握しているアドレスをそのままサービスで使い続けられます。

  • お客様のプレフィックスとASN:エッジはお客様が所有するプレフィックスとASNを広報します。
  • RPKI:お客様のプレフィックスのROA(Route Origin Authorization)に従います。
  • セッションのセキュリティ:BGPセッションを認証します。

ネットワークテレメトリ

両方のエッジルーターがNetFlow v9またはIPFIX形式でフローレコードをお客様のコレクターにエクスポートするため、お客様のネットワークチームとセキュリティチームはエッジを通過するトラフィックを把握できます。

また、BMCとRedfishを通じてアウトオブバンドでハードウェアのテレメトリを収集し、可能な場合はネットワークと施設のテレメトリも収集します。運用テレメトリは30日以上、インシデントと状態の履歴は12カ月以上保管します。アクセス制御と監査対象のアウトオブバンドアクセスについてはセキュリティとコンプライアンスで、すべての応答時間は運用コミットメントで説明しています。

料金に含まれるもの

料金にはサーバーと、それらを接続するネットワークが含まれます。ストレージとGPU周辺のノードは個別の項目として価格を設定するため、設計で使用する分だけをお支払いいただきます。

項目料金上の扱い
GPUサーバー(CPU、メモリ、NVMeドライブ、ネットワークカードを含む)料金に含まれる
HGX B300クラスターのファブリック(GPUあたり800 Gb/s)料金に含まれる
納品仕様書に沿って構築したNorth-Southネットワーク料金に含まれる
エッジネットワーク:2社のトランジット事業者、冗長構成のエッジルーター、専用のパブリックアドレス、DDoSスクラビングすべてのHGX B300クラスターに含まれる
提案書で定めたインターネット帯域幅(エグレス料金なし)料金に含まれる
VAST Data、WEKA、DDNのストレージアプライアンス、またはストレージノード提案書に個別の項目として記載
サーバーの標準ドライブを超えるローカルNVMe提案書に個別の項目として記載
CPUノードとコントロールプレーンノード提案書にそれぞれ個別の項目として記載
追加の帯域幅、および納品仕様書を超えるネットワーク設計提案書で価格を提示

契約条件、請求、提案書に含まれるその他の内容については導入の流れで説明しています。

導入検討時のよくあるご質問

どのストレージベンダーを提供していますか?

ご希望に応じて、ベンダー管理型アプライアンスとしてVAST Data、WEKA、DDNのいずれか、またはお客様独自のストレージソフトウェアを実行するストレージノードです。

HGX B300クラスターにはどれくらいのストレージが付属しますか?

アプライアンスではGPUあたり使用可能容量1 TB以上(64ノードのクラスターで512 TB)、ストレージノードではGPUあたり物理容量3 TB以上です。各GPUノードには、物理容量9.2 TB以上のローカルNVMeも搭載されます。

エグレス料金はかかりますか?

いいえ。クラスターは契約期間を通じて一律の固定料金で請求され、エグレス料金はかかりません。

自社のIPアドレスとASNを持ち込めますか?

はい。エッジはお客様のプレフィックスとASNを広報でき、RPKI ROAに従い、BGPセッションを認証します。

DDoS対策はどれくらいの速さで開始されますか?

レイヤー3およびレイヤー4のボリューム型攻撃のスクラビングが、BGP経由で5分以内に有効化されます。処理能力は1 Tb/s以上です。

この内容はすべてのサーバーに適用されますか?

当社の納品仕様書に沿って構築したHGX B300クラスターに適用されます。その他のサーバーについては、ストレージとネットワークをお客様の要件に合わせて構成し、提案書で確定します。

実行したいワークロードをお知らせください。

ハードウェア、サーバー台数、契約期間、開始日をお知らせください。当社の納品仕様書に基づいた提案書をお送りします。