AI推論向けの専用GPUサーバー

専用サーバーでは、GPUメモリとメモリ帯域幅を奪い合うのはお客様自身のリクエストだけです。

密なモデルでは、トークンを1つ生成するたびにすべての重みをGPUメモリから読み出すため、デコード速度はメモリ帯域幅で決まります。FP8の70Bパラメーターモデルの重みは70 GBで、HGX B300のGPUはメモリを7.7 TB/sで読み出すため、KVキャッシュの読み出しを考慮しない場合、単一シーケンスの上限は毎秒約110トークンです。バッチ処理では、同じ読み出しで多数のシーケンスを処理します。共有ハードウェアでは、他のテナントの負荷によってこの上限が変動します。当社のハードウェアではテナントは1社のみでハイパーバイザーもなく、当社側の変更は書面による変更管理に従い、高リスクメンテナンスは7日以上前に事前通知します。その仕組みは共有GPUインフラでLLM推論が破綻する理由の記事で解説しています。

8基のGPUを搭載したサーバーは8つの独立したメモリプールで構成されるため、ほとんどの導入例ではロードバランサーの背後でGPUごとに1つのモデルレプリカを実行します。

HGX B300では、FP8の70Bモデルのレプリカを8つ（それぞれ32Kトークンのシーケンスを約18本保持）、またはFP8の405BモデルをGPU 2基で構成したレプリカを4つ（GPUあたり1.8 TB/sのNVLinkで接続）実行できます。RTX PRO 6000 BlackwellのGPUはNVLinkではなくPCIe 5.0 x16で接続されるため、GPUごとのレプリカが適しています。FP4の70Bレプリカを8つ、または4基のGPUで推論を提供しながら残りの4基で次のバージョンをファインチューニングする構成です。メモリ帯域幅はB300のGPUの約5分の1であるため、単一ストリームでの最小レイテンシを求める用途よりも、バッチ処理による推論に適しています。小規模なモデルでは、MIGによってRTX PRO 6000 1基を最大4つの24 GBインスタンスに、B300 GPU 1基を最大7つのインスタンスに分割できます。具体的な構成は、B300ノードに収まるものとRTX PRO 6000ノードに収まるものの記事で紹介しています。

当社の納品仕様書に沿って構築したHGX B300クラスターでは、エッジネットワークをパブリックな推論エンドポイント向けに設計しています。

• 回線あたり100 Gb/sの独立した2社のトランジット事業者に、物理的に異なる経路で接続し、eBGPとBFDを使用します。
• 専用のパブリックサービスアドレス（通常8個）。お客様のVIPをBGPで広報し、5秒以内のフェイルオーバーとIPv6デュアルスタックに対応します。
• 1 Tb/s以上のレイヤー3およびレイヤー4のボリューム型DDoSスクラビング。BGP経由で5分以内に有効化します。
• 1,000万以上の同時セッションに対応する冗長構成のNATペアと、専用のSNATアドレス。
• お客様独自のIPアドレス空間とASNを利用でき、RPKI ROAにも従います。

設計の詳細はストレージとネットワークに、B300での推論の提供については本番環境の推論に向けたB300に掲載しています。

推論サーバーはサーバー単位で、36カ月、48カ月、60カ月のいずれかの期間、提案書で定めた一律の固定月額料金でレンタルします。エンドポイントが送信するトラフィックにエグレス料金はかかりません。

契約締結時に頭金をお支払いいただき、その後は契約期間を通じて毎月お支払いいただきます。契約期間が長いほど料金は低くなります。オンボーディング書類と契約については導入の流れで説明しています。