NVIDIA A100 80GB

A100 80GBは、学習と推論のコードをAmpereアーキテクチャ上で構築・検証しており、それぞれ80 GBのメモリを備えた8基のGPUをNVLinkで接続して使いたいチームに向いています。A100を使い続ければ、プログラムの途中で新しいアーキテクチャに合わせてカーネル、数値計算、パイプラインを再検証する必要がありません。

倍精度の処理にも適しています。NVIDIAの公表値では、FP64 TensorコアのスループットはGPUあたり19.5 TFLOPS、8基のGPUを搭載したHGX A100ボードではFP64で156 TFLOPSです。

NVIDIAのA100の仕様では、TensorコアはFP64に加えてTF32、BF16、FP16、INT8に対応するとされており、FP8とFP4は含まれていません。各GPUのTDPは標準構成で400 Wで、NVIDIAは、HGX A100 80GBのカスタム冷却ソリューションでは最大500 Wに対応するとしています。

A100サーバーは、8基のGPUを搭載したNVIDIAのHGX A100ボードを中心に構成します。CPU、システムメモリ、ローカルNVMeからネットワークまで、その他の構成はすべてお客様の要件に合わせ、提案書で確定します。

すべてのサーバーは引き渡し前にバーンインを実施し、その結果を検収テスト報告書にまとめます。複数のA100サーバーをまとめて運用する予定の場合は、提案書にサーバー間のネットワークを含められるよう、ご依頼時にお知らせください。専用ファブリックの構築方法についてはGPUクラスターのページをご覧ください。

A100 80GBサーバーはご要望に応じて提供します。必要なサーバー台数、期間、開始時期をお知らせいただければ、構成と納品スケジュールを提案書で確定します。

契約期間は36カ月、48カ月、60カ月のいずれかで、期間が長いほど料金は低くなります。サーバーを実際に使用する企業は、契約締結前に3種類のオンボーディング書類に記入します。契約締結時に頭金をお支払いいただき、以降は契約期間を通じて一律の固定月額料金をお支払いいただきます。エグレス料金はかかりません。トライアルは提供しておらず、バーンインと検収と導入の流れのページで説明しているとおり、バーンインと検収テスト報告書がその役割を果たします。

A100 80GBは、GPUあたり80 GB、サーバーあたり640 GBに収まる学習とファインチューニング、MIGインスタンスに分割した推論、FP64シミュレーションに適しています。長時間の学習ジョブにおけるチェックポイントの保存と障害対応については、AI学習のページで説明しています。

Adamオプティマイザーを使った混合精度でのフル学習では、アクティベーションを除いてパラメーターあたり約16〜20バイトが必要です。そのため、640 GBのサーバー1台に収まる学習状態は、パラメーター数がおよそ32B〜40Bのモデルまでです。それより大きなモデルは複数のサーバーにシャーディングするため、サーバー間のネットワークも提案書の対象になります。

サイジングについては、70 GBの重みと4基のGPUで70 GBの重みを読み込んだ後に80 GBのGPUでKVキャッシュに残る容量がいかに少ないかを、基盤モデル学習のボトルネックで学習スループットを決めるのがメモリ帯域幅とNVLinkである理由を説明しています。

新規プロジェクトには、GPUあたり180 GB、FP8とFP4、GPUあたり37 TFLOPSのFP64を備えたHGX B200や、GPUあたり270 GBのHGX B300があります。