번인 테스트 및 검수

번인 테스트는 클러스터의 서로 다른 부분을 겨냥한 5가지 테스트로 구성되며, 클러스터는 5가지를 모두 통과한 경우에만 인도합니다.

1. HW-1

   집합 통신 처리량

   nccl-tests로 기준 NCCL 처리량을 측정하며, 패브릭이 지원하는 경우 SHARP 가속 집합 통신도 함께 측정합니다.

   nccl-tests

2. HW-2

   모든 네트워크 레일

   모든 InfiniBand 또는 RoCE 레일을 ib_write_bw로 테스트합니다.

   ib_write_bw

3. HW-3

   GPUDirect 및 스토리지

   NVMe 읽기 및 쓰기를 포함해 GPUDirect RDMA 및 스토리지 스모크 테스트를 수행합니다.

   GPUDirect RDMA, NVMe

4. HW-4

   NVLink 및 NVSwitch

   nvbandwidth로 NVLink 및 NVSwitch의 링크 수와 대역폭을 확인합니다.

   nvbandwidth

5. HW-5

   24시간 연속 부하 테스트

   전력 상한을 지속적으로 유지한 상태에서 대표적인 추론 부하로 24시간 연속 부하 테스트를 실시합니다.

   전력 상한 내 추론 부하

이 테스트들은 함께 분산 워크로드가 의존하는 경로를 모두 다룹니다. 서버 내부 GPU 간 경로(HW-4), 패브릭을 통한 서버 간 경로(HW-1 및 HW-2), GPU 메모리로 들어가는 네트워크 경로와 스토리지 경로(HW-3), 그리고 지속 부하 상태의 클러스터 전체(HW-5)입니다. 이 테스트는 1Legion 납품 사양서 15절의 일부입니다.

각 테스트는 하드웨어의 한 부분을 확인하며, 테스트 통과는 사용하실 클러스터에 대해 구체적인 사실을 알려 줍니다.

HW-1: NCCL 처리량

NCCL(NVIDIA Collective Communications Library)은 분산 학습 및 추론 중에 GPU가 all-reduce 같은 연산으로 데이터를 교환할 때 사용하는 소프트웨어입니다. HW-1에서는 NCCL용 NVIDIA 벤치마크인 nccl-tests를 클러스터 전체에서 실행하며, 스위치가 지원하는 경우 SHARP를 사용합니다. SHARP는 각 리덕션 연산의 일부를 스위치 내부에서 수행하므로 네트워크를 통과해야 하는 데이터가 줄어듭니다.

테스트 통과는 서로 다른 서버의 GPU가 테스트에서 요구하는 처리량으로 데이터를 교환한다는 뜻입니다. 집합 통신 처리량이 부족하면 분산 작업의 모든 단계가 네트워크를 기다리게 됩니다.

HW-2: 모든 패브릭 레일

레일 최적화 패브릭에서 레일이란 모든 서버에서 같은 위치에 있는 GPU를 그 레일 전용 스위치에 연결하는 링크의 집합입니다. HW-2는 두 포트 간 RDMA 쓰기 대역폭을 측정하는 ib_write_bw를 클러스터의 모든 InfiniBand 또는 RoCE 레일에서 실행합니다.

테스트 통과는 패브릭 전체의 평균뿐 아니라 각 레일이 개별적으로 성능을 낸다는 뜻입니다. 집합 연산은 가장 느린 링크의 속도로 실행되기 때문에 이 점이 중요합니다. 케이블, 트랜시버 또는 포트 하나만 약해도 작업에 참여하는 모든 GPU가 느려질 수 있습니다.

HW-3: GPUDirect RDMA 및 스토리지

GPUDirect RDMA는 CPU와 시스템 메모리를 거쳐 데이터를 복사하지 않고 네트워크 카드가 GPU 메모리를 직접 읽고 쓸 수 있게 해 줍니다. HW-3에서는 경로가 종단 간에 정상 작동하는지 짧게 확인하는 스모크 테스트를 GPUDirect RDMA와 스토리지(NVMe 읽기 및 쓰기 포함)에 대해 실행합니다.

테스트 통과는 데이터가 클러스터 설계대로 직접 경로를 통해 GPU에 도달하고, 스토리지 경로에서 읽기와 쓰기가 이루어진다는 뜻입니다. GPUDirect RDMA가 없으면 트래픽은 호스트 메모리를 거치는 더 느린 경로로 우회하며, 작업은 계속 실행되지만 속도만 느려집니다. 그래서 이 경로를 별도로 테스트합니다.

HW-4: NVLink 및 NVSwitch

각 HGX 서버 내부에서 GPU 8개는 서버 간 네트워크보다 훨씬 빠른 경로인 NVLink와 NVSwitch를 통해 서로 연결됩니다. HW-4는 NVIDIA 도구인 nvbandwidth로 이 링크들의 대역폭을 측정하고 링크 수를 확인합니다. 즉, 활성화되어야 할 링크가 모두 활성화되어 있는지 확인합니다.

테스트 통과는 모든 GPU의 NVLink 링크가 전부 활성화되어 있고, 테스트에서 기대하는 대역폭을 낸다는 뜻입니다. 링크가 하나 빠져도 서버가 멈추지는 않지만 느려지기 때문에 링크 수를 확인합니다.

HW-5: 24시간 연속 부하 테스트

HW-5는 전력 상한, 즉 테스트 내내 유지되는 설정 전력 한도를 지속적으로 적용한 상태에서 클러스터에 대표적인 추론 부하를 24시간 동안 가합니다. 발열 관련 오류, 전력 문제, 간헐적 장애처럼 짧은 테스트에서 놓치는 결함은 몇 시간 동안 일정한 부하가 이어질 때 나타나는 경향이 있습니다.

테스트 통과는 하드웨어가 꼬박 하루 동안 일정하고 대표적인 부하에서도 안정적으로 유지된다는 뜻입니다.

번인 테스트 결과는 검수 보고서로 전달되므로, 클러스터를 인도받으시는 시점에 그 증거를 확보하실 수 있습니다.

보고서에는 귀사 클러스터의 HW-1~HW-5 결과가 기록됩니다. 이 보고서를 기준선으로 보관해 주십시오. 사용하는 도구(nccl-tests, ib_write_bw 및 nvbandwidth)는 공개되어 있으므로, 나중에 문제가 의심되면 귀사 엔지니어가 같은 테스트를 실행해 비교할 수 있습니다.

하드웨어 자체는 1Legion의 기준 인벤토리에 기록됩니다. 모든 랙, 노드, GPU, NIC, 드라이브, 스위치, 포트, 트랜시버 및 케이블이 기록되며, 고객에게는 기계 판독 가능한 형식의 내보내기 파일을 제공합니다. 인도 후 클러스터는 서면 운영 약속에 따라 운영됩니다.

테스트를 통과하지 못한 노드는 서비스에 투입되지 않습니다. 해당 노드는 격리된 후 수리 또는 교체되고, 다시 테스트를 거칩니다.

1. 격리

   해당 노드를 클러스터에서 분리해 다른 노드나 테스트 결과에 영향을 주지 않도록 합니다.

2. 수리 또는 교체

   결함을 찾아 수리하거나, 고장 난 부품 또는 노드 전체를 교체합니다.

3. 재테스트

   수리했거나 교체한 노드를 다시 테스트하며, 통과하면 클러스터를 인도합니다.

인도 후에도 같은 원칙이 적용됩니다. 치명적인 GPU 결함(XID 79, XID 48, 더블 비트 ECC 오류 및 행 리매핑 실패)은 즉시 격리하며, 사일런트 데이터 손상이 의심되는 노드는 격리 상태로 유지합니다.

시범 사용, 데모, PoC 또는 단기 임대는 제공하지 않습니다. 대신 실제로 사용하실 하드웨어에서 나온 증거를 제공합니다.

시범 사용은 서버 한 대가 짧은 기간 동안 어떻게 동작하는지 보여 줄 뿐이며, 대개 최종적으로 받으실 서버도 아닙니다. 1Legion의 계약은 서버 단위로 36개월, 48개월 또는 60개월 동안 이어지므로, 알아야 할 것은 실제로 인도받으실 클러스터의 성능입니다. 번인 테스트는 바로 귀사의 하드웨어에서 이를 테스트하며, 검수 보고서는 그 결과를 서면으로 남깁니다.

서명하시기 전에 납품 사양서에서 구매하시는 내용을 확인하실 수 있으며, 사양서에 관한 질문에는 1Legion 엔지니어가 답변해 드립니다. 구매 방법 페이지에서는 요청부터 인도까지 계약 단계를 차례로 안내합니다.