バーンインと検収

バーンインは5つのテストで構成され、それぞれがクラスターの異なる部分を対象とします。5つすべてに合格したクラスターのみを引き渡します。

1. HW-1

   集団通信スループット

   nccl-testsでベースラインのNCCLスループットを測定します。ファブリックが対応している場合は、SHARPで高速化した集団通信も対象とします。

   nccl-tests

2. HW-2

   すべてのネットワークレール

   InfiniBandまたはRoCEのすべてのレールをib_write_bwでテストします。

   ib_write_bw

3. HW-3

   GPUDirectとストレージ

   NVMeの読み書きを含め、GPUDirect RDMAとストレージのスモークテストを実施します。

   GPUDirect RDMA, NVMe

4. HW-4

   NVLinkとNVSwitch

   NVLinkとNVSwitchのリンク数と帯域幅をnvbandwidthで確認します。

   nvbandwidth

5. HW-5

   24時間連続負荷テスト

   代表的な推論負荷のもと、電力上限を一定に保った状態で24時間の連続負荷テストを実施します。

   電力上限下での推論負荷

これらのテストを組み合わせることで、分散ワークロードが依存する経路を網羅します。サーバー内のGPU間（HW-4）、ファブリックを介したサーバー間（HW-1とHW-2）、GPUメモリへのネットワーク経路とストレージ経路（HW-3）、そして持続的な負荷下のクラスター全体（HW-5）です。これらのテストは当社の納品仕様書のセクション15に含まれています。

各テストはハードウェアの一部分を検査し、合格すれば、お客様が使用するクラスターについて具体的なことがわかります。

HW-1：NCCLスループット

NCCL（NVIDIA Collective Communications Library）は、分散学習や分散推論の際に、all-reduceなどの操作でGPUがデータを交換するために使うソフトウェアです。HW-1では、NCCL向けのNVIDIAのベンチマークであるnccl-testsをクラスター全体で実行し、スイッチが対応している場合はSHARPも使用します。SHARPは各リダクション処理の一部をスイッチ内部で実行するため、ネットワークを通過するデータ量が減ります。

合格は、異なるサーバーにあるGPU同士が、テストで求められるスループットでデータを交換できることを示します。集団通信のスループットが不足すると、分散ジョブのすべてのステップがネットワーク待ちになります。

HW-2：すべてのファブリックレール

レール最適化ファブリックにおけるレールとは、各サーバーで同じ位置にあるGPUを、それぞれ専用のスイッチに接続するリンクの集まりです。HW-2では、2つのポート間のRDMA書き込み帯域幅を測定するib_write_bwを、クラスター内のInfiniBandまたはRoCEのすべてのレールで実行します。

合格は、ファブリック全体の平均だけでなく、各レールが単独で性能を発揮していることを示します。これが重要なのは、集団通信の速度が最も遅いリンクで決まるためです。ケーブル、トランシーバー、ポートのいずれか1つに弱点があるだけで、ジョブ内のすべてのGPUが遅くなる可能性があります。

HW-3：GPUDirect RDMAとストレージ

GPUDirect RDMAにより、ネットワークカードはCPUとシステムメモリを経由してデータをコピーすることなく、GPUメモリを直接読み書きできます。HW-3では、GPUDirect RDMAとストレージ（NVMeの読み書きを含む）を対象に、経路がエンドツーエンドで機能することを短時間で確認するスモークテストを実施します。

合格は、データがクラスターの設計どおりの直接経路でGPUに届くこと、そしてストレージ経路で読み書きができることを示します。GPUDirect RDMAがない場合、トラフィックはホストメモリを経由する低速な経路にフォールバックします。ジョブはそれでも動作し、遅くなるだけです。そのため、この経路は個別にテストします。

HW-4：NVLinkとNVSwitch

各HGXサーバー内では、8基のGPUがNVLinkとNVSwitchを介して相互に接続されており、サーバー間のネットワークよりはるかに高速な経路となっています。HW-4では、NVIDIAのツールであるnvbandwidthを使ってこれらのリンクの帯域幅を測定し、リンク数も確認します。つまり、本来アップしているべきリンクがすべてアップしていることを確認します。

合格は、すべてのGPUでNVLinkリンクがすべてアップしており、テストが想定する帯域幅が出ていることを示します。リンクが欠けていてもサーバーは停止せず、遅くなるだけです。そのため、リンク数を確認します。

HW-5：24時間連続負荷テスト

HW-5では、電力上限を一定に保った状態（テスト全体を通じて維持する一定の電力制限）で、代表的な推論負荷をクラスターに24時間かけ続けます。熱に起因するエラー、電源の問題、断続的な障害など、短時間のテストでは見逃される障害は、数時間にわたる一定負荷のもとで現れやすくなります。

合格は、代表的な一定負荷を丸一日かけ続けてもハードウェアが安定していることを示します。

バーンインの結果は検収テスト報告書としてお渡しします。クラスターがお客様に引き渡される時点で、エビデンスを手元に持つことができます。

報告書には、お客様のクラスターにおけるHW-1〜HW-5の結果を記録します。ベースラインとして保管してください。使用するツール（nccl-tests、ib_write_bw、nvbandwidth）は公開されているため、後で問題が疑われる場合は、お客様のエンジニアが同じテストを実行して比較できます。

ハードウェア自体は、当社の正式なインベントリに記録されます。対象はすべてのラック、ノード、GPU、NIC、ドライブ、スイッチ、ポート、トランシーバー、ケーブルで、お客様向けに機械可読形式でのエクスポートも提供します。引き渡し後、クラスターは書面による当社の運用コミットメントのもとで運用されます。

テストに不合格となったノードは運用に投入しません。隔離し、修理または交換したうえで、再度テストします。

1. 隔離

   ノードをクラスターから切り離し、他のノードやテスト結果に影響しないようにします。

2. 修理または交換

   障害の原因を特定して修理するか、故障した部品またはノード全体を交換します。

3. 再テスト

   修理済みまたは交換後のノードを再度テストし、合格した時点でクラスターを引き渡します。

引き渡し後も同じ規律を維持します。致命的なGPU障害（XID 79、XID 48、ダブルビットECCエラー、行リマッピングの失敗）は直ちに隔離し、サイレントデータ破損が疑われるノードも隔離したままにします。

トライアル、デモ、PoC（概念実証）、短期レンタルは提供していません。その代わりに、実際に使用するハードウェアから得たエビデンスを提供します。

トライアルでわかるのは1台のサーバーの短時間の挙動であり、通常は最終的にお客様が使うサーバーとは別のものです。当社の契約はサーバー単位で36カ月、48カ月、60カ月のいずれかの期間にわたるため、お客様が知る必要があるのは、受け取るクラスターがどのような性能を発揮するかです。バーンインはそれをお客様自身のハードウェアで検証し、検収テスト報告書がその結果を書面に残します。

ご契約前に、納品仕様書で調達内容を確認でき、内容に関するご質問には当社のエンジニアがお答えします。導入の流れのページでは、ご依頼から引き渡しまでの契約手順を説明しています。