1Legion의 관리형 Kubernetes는 공유 노드가 아닌 귀사 전용 GPU 서버에서 실행됩니다. NVIDIA GPU Operator와 Network Operator로 클러스터를 설치하고, 운영, 업그레이드 및 모니터링을 수행하며 온콜 대응을 맡습니다. 귀사 팀은 Kubernetes를 통해 배포하고, 1Legion은 플랫폼과 그 아래의 GPU 및 패브릭이 정상 작동하도록 유지합니다.
베어메탈 GPU 서버 기반 Kubernetes
두 가지 NVIDIA 오퍼레이터가 모든 노드에 GPU 및 네트워크 소프트웨어를 설치하므로, 하드웨어가 Kubernetes에서 파드가 요청할 수 있는 리소스로 표시됩니다.
NVIDIA GPU Operator
모든 GPU 노드에서 NVIDIA 드라이버, NVIDIA Container Toolkit, Kubernetes 디바이스 플러그인, GPU Feature Discovery 레이블 및 DCGM 기반 모니터링을 관리합니다. 파드는 nvidia.com/gpu로 GPU를 요청합니다.
NVIDIA Network Operator
호스트 네트워킹 소프트웨어인 NVIDIA 네트워킹 드라이버, 디바이스 플러그인, CNI 플러그인 및 IP 주소 관리를 설치하여, 파드가 RDMA 패브릭과 GPUDirect RDMA를 사용할 수 있게 합니다.
서버는 베어메탈이므로 귀사의 파드와 GPU 사이에 하이퍼바이저가 없고, 노드에 다른 고객의 워크로드도 없습니다. HGX B300 클러스터에서는 모든 GPU 노드가 GPU당 270 GB HBM3e를 탑재한 GPU 8개, GPU당 800 Gb/s 패브릭, 최소 9.2 TB의 로컬 NVMe를 제공하며, 이 모두를 귀사 워크로드만 사용합니다. CPU 노드는 서빙, 라우팅, 배치 등 GPU 주변 서비스를 담당하며, GPU당 최소 하드웨어 스레드 6개와 메모리 24 GB를 갖춥니다.
GPU Feature Discovery는 각 노드에 GPU 모델, 메모리 및 드라이버 버전 레이블을 붙이므로, 배포 시 일반적인 노드 셀렉터로 필요한 노드를 선택할 수 있습니다.
관리형의 의미
1Legion이 클러스터를 관리하는 동안 4가지 업무를 맡습니다. 운영, 업그레이드, 모니터링, 그리고 시간에 관계없이 책임지고 대응하는 일입니다.
운영
컨트롤 플레인, 두 오퍼레이터 및 모든 노드를 운영합니다. 치명적인 GPU 장애(XID 79, XID 48, 더블 비트 ECC 오류, 행 리매핑 실패)가 발생한 노드는 즉시 격리합니다.
업그레이드
서면 변경 관리 절차에 따라 Kubernetes, 오퍼레이터 및 GPU 드라이버를 업그레이드하며, 고위험 작업은 역일 기준 최소 7일 전에 통지합니다.
모니터링
모든 GPU의 DCGM 메트릭과 BMC 및 Redfish를 통한 대역 외 하드웨어 텔레메트리를 수집합니다. 운영 텔레메트리는 최소 30일, 장애 및 상태 이력은 최소 12개월 동안 보관합니다.
온콜
자격을 갖춘 온콜 담당자에게 하루 24시간, 매일 연락할 수 있는, 테스트를 거친 독립적인 경로 2가지. 장애는 15분 이내에 접수 확인되고 장애 대응 책임자가 지정됩니다.
네트워크 운영팀은 시간에 관계없이 15분 이내에, 시설 엔지니어링팀 또는 리모트 핸즈는 45분 이내에 투입됩니다. 반복되는 XID 13 및 XID 31 오류는 귀사와 합의한 발생 횟수에 도달하면 조치합니다. 장시간 학습 실행에 중요한 약속이 2가지 더 있습니다. NCCL 멈춤을 패브릭 이벤트와 연관 분석하고, NVMe 드라이브는 내구 수명 한도에 도달하기 전에 교체합니다.
공동 책임
1Legion은 하드웨어부터 Kubernetes까지 플랫폼을 운영하며, 그 위에 배포하는 것은 귀사가 운영합니다.
| 영역 | 1Legion 담당 | 귀사 담당 |
|---|---|---|
| 서버, 전력 및 냉각 | 하드웨어, 시설 및 냉각 장애를 찾아 해결 | 이상 징후를 공유 Slack 채널에 보고 |
| GPU 장애 | 치명적인 GPU 장애가 있는 노드를 즉시 격리하고, 사일런트 데이터 손상이 의심되는 노드는 격리 상태로 유지 | 작업이 정상 노드에서 재개될 수 있도록 체크포인트 저장 |
| Kubernetes 및 노드 소프트웨어 | Kubernetes, GPU Operator, Network Operator 및 GPU 드라이버를 설치, 업그레이드, 모니터링 | 귀사 소프트웨어가 의존하는 버전 정보 제공 |
| 패브릭 및 엣지 | 동서 패브릭, 남북 네트워크 및 엣지 운영, 엣지 ACL 변경은 1영업일 이내 적용 | 엣지 ACL 규칙과 서비스 외부 노출 범위 결정 |
| 장애 | 15분 이내 접수 확인, 장애 대응 책임자 지정, 최소 60분에 한 번 업데이트, 고객에게 영향을 준 모든 장애에 대해 7일 이내 사후 분석 보고서 작성 | 공유 채널 또는 온콜 경로를 통해 문제 제기 |
| 워크로드 | 워크로드가 실행되는 노드와 GPU를 운영 상태로 유지 | 컨테이너, 모델, 데이터셋, 체크포인트 및 이를 사용하는 배포와 작업 |
| 모니터링 | 클러스터, 노드 및 GPU 상태 감시 | 귀사 애플리케이션과 모델 감시 |
업그레이드 및 유지보수
클러스터의 모든 변경은 서면 변경 관리 절차를 따르며, 긴급하지 않은 고위험 유지보수는 역일 기준 최소 7일 전에 통지합니다.
이 규칙은 하드웨어 작업과 마찬가지로 Kubernetes, 두 오퍼레이터 및 GPU 드라이버의 업그레이드가 고위험일 때마다 적용됩니다. 장애 중 서비스 복구와 같은 긴급 작업은 대신 장애 처리 절차를 따릅니다. 공유 클라우드에서 장시간 학습이 실패하는 이유에서는 예고 없는 드라이버 업데이트가 진행 중인 학습에 어떤 영향을 줄 수 있는지 보여 줍니다. 기준 인벤토리는 모든 노드, GPU, NIC 및 드라이브를 기록하고, 합의된 기준선 대비 드리프트를 탐지하며, 상태 변경을 5분 이내에 기계 판독 가능한 내보내기로 귀사에 보여 줍니다. 귀사 서버에 대한 1Legion의 대역 외 접근은 감사 대상입니다.
관리형 Slurm
관리형 Slurm은 작업을 배치 잡으로 스케줄링하는 방식을 선호하는 팀을 위한 대안입니다.
sbatch와 srun으로 학습 실행을 제출하고 파티션과 우선순위별로 대기열에 넣는 연구팀은 Kubernetes보다 Slurm을 선호하는 경우가 많습니다. 1Legion은 귀사 팀이 선호하는 스케줄러를 운영하며, 이를 제안서에 명시합니다. 서버, 패브릭, HW-1~HW-5 번인 테스트는 어느 쪽이든 동일하며, 장애 대응 책임자가 참여하는 공유 채널도 마찬가지입니다. 두 방식의 기반 하드웨어는 GPU 클러스터를 참고해 주십시오.
관리형 Kubernetes 가격 책정 방식
관리형 Kubernetes는 서버 임대에 더해 가격이 책정되는 관리 서비스로, 제안서에 별도 항목으로 기재됩니다.
공개된 요금이나 셀프 서비스 가입은 없습니다. 1Legion은 인벤토리, 모니터링 및 번인 테스트 자동화를 위한 자체 플랫폼 소프트웨어를 개발하고 있습니다. 현재는 공유 Slack 채널, 지정된 기술 계정 담당자, 인도 시 검수 보고서 및 1Legion이 보내는 보고서를 통해 협업합니다. 계약 조건, 요금 청구 및 온보딩은 구매 방법에서 설명합니다.
구매자가 묻는 질문
어떤 NVIDIA 소프트웨어를 설치하나요?
NVIDIA GPU Operator와 NVIDIA Network Operator입니다. 이 둘이 모든 노드에서 GPU 드라이버, 컨테이너 툴킷, 디바이스 플러그인, GPU Feature Discovery, DCGM 모니터링 및 RDMA 네트워킹 소프트웨어를 관리합니다.
관리형 Slurm도 제공하나요?
예. 관리형 Slurm은 배치 스케줄링을 선호하는 팀을 위한 대안이며, 1Legion이 운영할 스케줄러는 제안서에 명시됩니다.
GPU에 장애가 발생하면 어떻게 되나요?
XID 79, XID 48, 더블 비트 ECC 오류 또는 행 리매핑 실패와 같은 치명적인 GPU 장애가 발생한 노드는 즉시 격리되며, 1Legion이 장애를 찾아 해결합니다.
유지보수 전에 얼마나 미리 통지하나요?
긴급하지 않은 고위험 유지보수는 역일 기준 최소 7일 전에 통지하며, 모든 변경은 서면 변경 관리 절차를 따릅니다.
클러스터용 웹 콘솔이 있나요?
아직 없습니다. 1Legion은 자체 플랫폼 소프트웨어를 개발하고 있으며, 현재는 공유 Slack 채널, 지정된 기술 계정 담당자 및 서면 보고서를 통해 협업합니다.
관리형 Kubernetes의 가격은 어떻게 책정되나요?
서버 임대에 추가되는 관리 서비스로 책정되며, 서면 제안서에 명시됩니다. 가격은 공개하지 않습니다.