ワークロードに合わせたハードウェア
適切なサーバーは、メモリに何を保持する必要があるか、どの範囲で通信する必要があるかによって決まります。これらのページでは、4種類の用途それぞれに適したNVIDIAサーバーをご紹介します。
1Legionは、4種類の用途向けに専用のNVIDIA GPUサーバーをレンタルしています。以下の各ページでは、適したサーバー、規模を決める要因、稼働拠点を説明しています。
4つのワークロード
ワークロードごとに、最初に制約となる要素が異なります。学習ではファブリック、推論ではメモリ、メディアではエンコーダーとドライバー、動画生成AIでは解像度と長さを左右するメモリです。
AI学習
長時間の学習ジョブには、バーンイン済みのハードウェアとノンブロッキングのファブリックが必要です。64〜288ノードのHGX B300クラスターとHGX B200サーバーを提供し、GB300 NVL72とVera Rubinは予約制で提供します。
AI推論
専用サーバーならレイテンシを予測可能に保てます。重みとKVキャッシュの合計でサイズを決めます。B300はGPUあたり270 GB、RTX PRO 6000 Blackwellは96 GB、L40Sは48 GBです。
メディア・エンターテインメント
レンダリング、VFX、バーチャルプロダクション、トランスコードをサーバー単位で提供し、大容量メディアの転送にエグレス料金はかかりません。
サーバー構成の決め方
ハードウェアは4つの問いで決まり、提案書ではそれぞれに書面で回答します。
- GPUメモリに収める必要があるもの：重み、KVキャッシュまたはアクティベーション、ランタイム用の余裕。
- GPU間の通信範囲：NVLinkによる1台のサーバー内か、GPUあたり800 Gb/sのファブリックによるクラスター全体か。
- サーバー台数と期間：サーバー単位で、契約期間は36カ月、48カ月、60カ月のいずれか。契約期間が長いほど料金は低くなります。
- 稼働拠点：トロントとモントリオールは稼働中、デラウェア州は稼働準備中、フィンランドは開発中で、パートナーネットワークは4大陸のさらに多くの都市をカバーしています。
当社が展開するすべてのモデルはGPUサーバーカタログに掲載しており、HGX B300クラスターの構築方法は納品仕様書で定めています。
導入検討時のよくあるご質問
ワークロードに適したGPUサーバーはどのように決めますか？
まずメモリから考えます。モデルの重み、KVキャッシュまたはアクティベーション、余裕分です。次にインターコネクト、クラスターの規模、設置拠点を検討します。モデルのサイズとトラフィックを記入した見積もり依頼があれば、検討を始められます。
1つの契約で学習用と推論用のサーバーを組み合わせられますか？
はい。提案書には学習用のHGX B300サーバーと推論用のRTX PRO 6000 Blackwellサーバーを含めることができ、それぞれ36カ月、48カ月、60カ月のいずれかの契約期間を選べます。
テスト用にGPUを時間単位でレンタルできますか？
いいえ。サーバー単位で、36〜60カ月の契約期間でレンタルしています。トライアルの代わりに、すべてのクラスターは引き渡し前にバーンインと検収のテストに合格します。
サーバーはどこで稼働しますか？
HGX B300のキャパシティはトロントに、RTX PRO 6000 Blackwellと推論サーバーはモントリオールにあります。米国ではB300の追加キャパシティが稼働準備中で、フィンランドの拠点は開発中です。詳しくはデータセンターをご覧ください。