1Legion의 운영 약속은 얼마나 빨리 대응하는지, 진행 상황을 어떻게 알리는지, 얼마나 미리 통지하는지, 하드웨어 장애를 어떻게 처리하는지를 서면으로 규정합니다. 이 약속은 모든 HGX B300 제안서의 기준이 되는 납품 사양서의 제15절입니다.
약속 요약표
각 약속은 분, 일 또는 개월 단위의 수치로 정해져 있어, 1Legion의 이행 여부를 직접 확인하실 수 있습니다.
| 약속 | 수치 |
|---|---|
| 장애 접수 확인 및 장애 대응 책임자 지정 | 15분 이내 |
| 장애 진행 중 업데이트 | 최소 60분에 한 번 |
| 네트워크 운영팀 투입, 시간대 무관 | 15분 이내 |
| 시설 엔지니어링팀 또는 리모트 핸즈 투입 | 45분 이내 |
| 고객에게 영향을 준 장애 후 서면 사후 분석 보고서 | 7일 이내 |
| 고위험 계획 유지보수 사전 통지 | 최소 7일 전 |
| 귀사가 확인할 수 있는 인벤토리 및 상태 변경 | 5분 이내 |
| BGP를 통한 DDoS 스크러빙 활성화 | 5분 이내 |
| 엣지 방화벽 규칙 변경 | 1영업일 이내 |
| 운영 텔레메트리 보관 기간, 장애 및 상태 이력 보관 기간 | 30일, 12개월 |
가동률 퍼센트는 공개하지 않습니다. 문제가 생겼을 때 1Legion이 무엇을, 얼마나 빨리 하는지를 공개합니다.
지원: 공유 채널과 지정 담당자
항상 열려 있는 공유 Slack 채널에서 귀사 클러스터를 운영하는 사람들과 직접 협업하실 수 있습니다.
공유 Slack 채널
항상 열려 있으며, 1Legion의 장애 대응 책임자, 네트워크 운영팀, 시설 운영팀 및 리모트 핸즈가 참여합니다.
지정된 기술 계정 담당자
귀사 계정을 책임지는 1Legion의 지정 담당자 한 명.
온콜 연락 경로 2가지
자격을 갖춘 온콜 담당자에게 하루 24시간, 매일 연락할 수 있는, 테스트를 거친 독립적인 경로 2가지.
채널은 문제의 영향을 받는 사람들과 문제를 해결하는 사람들을 한곳에 모읍니다. 두 번째 독립 온콜 경로는 첫 번째 경로 자체에 문제가 생긴 경우에 대비한 것입니다.
장애: 첫 알림부터 사후 분석 보고서까지
장애는 하나의 순서를 따릅니다. 15분 이내 접수 확인 및 장애 대응 책임자 지정, 엔지니어 투입, 최소 60분에 한 번 업데이트, 그리고 고객에게 영향을 준 모든 장애에 대해 역일 기준 7일 이내 서면 사후 분석 보고서 제공입니다.
접수 확인
15분 이내에 장애를 접수 확인하고 장애 대응 책임자를 지정합니다. 장애 대응 책임자는 대응을 조율하는 단 한 명의 담당자입니다.
투입
네트워크 운영팀은 시간에 관계없이 15분 이내에, 시설 엔지니어링팀 또는 리모트 핸즈는 45분 이내에 투입됩니다.
업데이트
장애가 진행 중인 동안 최소 60분에 한 번 업데이트를 받으실 수 있습니다.
사후 분석 보고서
고객에게 영향을 준 모든 장애에 대해 역일 기준 7일 이내에 서면 사후 분석 보고서를 받으실 수 있습니다.
사후 분석 보고서는 장애에 대한 서면 설명으로, 무슨 일이 일어났는지, 왜 일어났는지, 재발 방지를 위해 무엇을 하고 있는지를 담습니다.
유지보수, 변경 및 인벤토리
위험이 따르는 계획 작업은 역일 기준 최소 7일 전에 공지하고, 변경은 서면 변경 관리 절차를 거치며, 기준 인벤토리는 귀사 클러스터를 케이블 단위까지 기록합니다.
유지보수 통지
통지는 긴급하지 않은 고위험 유지보수에 적용되며, 유지보수가 시작되기 전에 작업을 옮기거나 체크포인트를 저장할 시간을 드립니다. 긴급 작업은 통지 기간의 적용을 받지 않습니다. 시설 측면에서는 1Legion이 이용하는 데이터센터에 고위험 유지보수에 대해 14일 전 통지를 요청합니다.
변경 관리 및 접근
서면 변경 관리란 귀사 클러스터의 변경이 문서화된 절차를 따르고 서면 기록을 남긴다는 뜻입니다. 운영 체제 아래에서 BMC를 통해 서버에 접근하는 관리 경로인 대역 외 접근은 감사 대상입니다.
인벤토리
모든 랙, 노드, GPU, NIC, 드라이브, 스위치, 포트, 트랜시버 및 케이블의 기준 인벤토리를 유지하며, 귀사에 기계 판독 가능한 형식의 내보내기 파일을 제공합니다. 상태 변경은 5분 이내에 확인할 수 있습니다. 드리프트 탐지는 클러스터를 합의된 기준선과 비교하므로, 아무도 계획하지 않은 변경이 드러납니다.
1Legion은 오픈 소스 구성 요소를 기반으로 인벤토리, 모니터링 및 번인 테스트 자동화를 위한 자체 플랫폼 소프트웨어를 개발하고 있습니다. 고객 포털과 공개 API도 이 작업의 일부이며, 아직 제공되지 않습니다.
하드웨어 장애 처리
하드웨어, 시설, 냉각 및 패브릭 장애를 찾아 해결하며, 치명적인 장애가 발생한 GPU는 즉시 격리합니다.
| 장애 | 의미 | 1Legion의 조치 |
|---|---|---|
| XID 79 | GPU가 버스에서 이탈하여 응답이 중단된 상태 | 즉시 격리 |
| XID 48 | 드라이버가 더블 비트 ECC 오류를 보고한 상태 | 즉시 격리 |
| 더블 비트 ECC 오류 | GPU 메모리의 정정 불가능한 오류 | 즉시 격리 |
| 행 리매핑 실패 | GPU가 결함 있는 메모리 행을 예비 행으로 리매핑하지 못한 상태 | 즉시 격리 |
| 반복되는 XID 13 또는 XID 31 | 그래픽 엔진 예외 또는 GPU 메모리 페이지 폴트 | 합의한 횟수 도달 시 조치 |
| NVMe 드라이브 마모 | 데이터 기록에 따른 플래시 드라이브 마모 | 내구 수명 한도 도달 전 교체 |
| NCCL 멈춤 | 집합 통신 연산의 진행이 멈춘 상태 | 패브릭 이벤트와 연관 분석 |
| 사일런트 데이터 손상 의심 | 오류 보고 없이 잘못된 결과 발생 | 노드를 격리 상태로 유지 |
격리는 장애가 해결될 때까지 해당 하드웨어를 서비스에서 제외하므로, 어떤 작업도 그 하드웨어에 배정되지 않습니다. XID 13과 XID 31은 GPU가 아닌 애플리케이션에서 발생할 수 있으므로, 합의한 횟수를 넘어 반복될 때 조치합니다. NCCL 작업이 멈추면 같은 시점의 패브릭 이벤트를 확인하여, 멈춤의 원인이 된 링크나 스위치 장애를 찾을 수 있게 합니다. 사일런트 데이터 손상은 아무것도 이를 보고하지 않기 때문에 가장 발견하기 어려운 장애 중 하나이며, 그래서 의심되는 노드는 격리 상태로 유지됩니다. NVMe 드라이브는 고장 난 뒤가 아니라 내구 수명 한도에 도달하기 전에 교체합니다.
스토리지 어플라이언스 서비스
귀사 클러스터가 벤더 관리형 스토리지 어플라이언스를 사용하는 경우, 사양서는 24/7 에스컬레이션, 티어별로 확약된 처리량과 지연 시간, 사용량 및 할당량 가시성, 그리고 테스트를 거친 복구를 갖춘 벤더 지원 설계를 약속합니다.
- 벤더 지원 설계. VAST Data, WEKA 또는 DDN의 어플라이언스를 해당 벤더가 지원하는 설계에 따라 구축합니다.
- 24/7 에스컬레이션. 스토리지 문제는 시간에 관계없이 에스컬레이션할 수 있습니다.
- 티어별 처리량 및 지연 시간. 각 스토리지 티어에는 확약된 처리량과 지연 시간이 있으므로, 알려진 수치를 기준으로 작업과 체크포인트를 계획하실 수 있습니다.
- 사용량 및 할당량. 사용량과 할당량을 확인할 수 있으므로, 용량이 모르는 사이에 소진되지 않습니다.
- 테스트를 거친 복구. 복구 절차는 문서화에 그치지 않고 실제로 테스트합니다.
어플라이언스와 귀사 자체 소프트웨어용 스토리지 노드라는 두 가지 스토리지 옵션은 스토리지 및 네트워킹 페이지에서 설명합니다.
텔레메트리 및 이력
하드웨어 텔레메트리는 대역 외로 수집하며, 운영 텔레메트리는 최소 30일, 장애 및 상태 이력은 최소 12개월 동안 보관합니다.
대역 외 텔레메트리는 Redfish를 통해 서버의 BMC에서 수집되므로, 운영 체제가 응답하지 않을 때도 계속 보고됩니다. 네트워크 및 시설 텔레메트리는 가능한 경우 수집합니다. 장애 및 상태 이력을 최소 12개월 보관하므로, 몇 달 간격으로 재발하는 장애도 이전 발생 기록까지 추적할 수 있습니다.
이 모든 약속이 적용되기 전에, 모든 클러스터는 번인 테스트 및 검수 페이지의 테스트를 통과합니다. 귀사 서버의 플랫폼 계층 운영까지 1Legion에 맡기시려면 관리형 Kubernetes를 참고해 주십시오.
구매자가 묻는 질문
가동률 퍼센트와 서비스 크레딧이 있는 SLA인가요?
아니요. 가동률 퍼센트나 서비스 크레딧은 공개하지 않습니다. 대신 이 페이지의 약속, 즉 대응 시간, 업데이트 간격, 통지 기간, 보고 및 장애 처리를 공개합니다. 귀사 계약의 조건은 제안서에 명시됩니다.
장애에 얼마나 빨리 대응하나요?
장애는 15분 이내에 접수 확인되고 장애 대응 책임자가 지정됩니다. 네트워크 운영팀은 시간에 관계없이 15분 이내에, 시설 엔지니어링팀 또는 리모트 핸즈는 45분 이내에 투입됩니다.
업무 시간 외에는 어떻게 연락하나요?
항상 열려 있는 공유 Slack 채널을 이용하시거나, 자격을 갖춘 온콜 담당자에게 하루 24시간, 매일 연락할 수 있는, 테스트를 거친 독립적인 경로 2가지를 이용하시면 됩니다.
유지보수 전에 얼마나 미리 통지하나요?
긴급하지 않은 고위험 유지보수는 역일 기준 최소 7일 전에 통지합니다.
GPU에 치명적인 장애가 발생하면 어떻게 되나요?
치명적인 GPU 장애, 즉 XID 79, XID 48, 더블 비트 ECC 오류 및 행 리매핑 실패는 즉시 격리합니다. 그런 다음 장애를 찾아 해결합니다.