運用コミットメント

インシデントは決まった流れに沿って対応します。15分以内の受付確認とインシデントコマンダーの任命、エンジニアによる対応の開始、少なくとも60分ごとの状況更新、そしてお客様に影響したすべてのインシデントについて7暦日以内の書面のポストモーテムの提出です。

1. 受付確認

   15分以内にインシデントの受付を確認し、インシデントコマンダーを任命します。インシデントコマンダーは、対応全体を統括するただ1人の担当者です。

2. 対応開始

   ネットワーク運用チームは時間帯を問わず15分以内に、施設エンジニアリングまたはリモートハンドは45分以内に対応を開始します。

3. 状況更新

   インシデントがクローズされるまでの間、少なくとも60分ごとに状況の更新をお受け取りいただけます。

4. ポストモーテム

   お客様に影響したすべてのインシデントについて、7暦日以内に書面のポストモーテムをお受け取りいただけます。

ポストモーテムとは、インシデントについて、何が起きたか、なぜ起きたか、再発防止のために何を行っているかをまとめた書面の報告です。

リスクを伴う計画作業は7暦日以上前に告知し、変更は書面による変更管理を経て行い、正式なインベントリにはお客様のクラスターをケーブルに至るまで記録します。

メンテナンスの事前通知

事前通知は緊急でない高リスクメンテナンスに適用され、作業開始前にジョブを移動したり、チェックポイントを取得したりする時間を確保できます。緊急作業は通知期間の対象外です。施設側については、当社が利用するデータセンターに対し、リスクのあるメンテナンスを14日前に通知するよう求めています。

変更管理とアクセス

書面による変更管理とは、お客様のクラスターへの変更が文書化されたプロセスに従い、書面の記録を残すことを意味します。アウトオブバンドアクセス（OSより下のレイヤーでBMCを通じてサーバーに到達する管理経路）は監査されます。

インベントリ

当社は、すべてのラック、ノード、GPU、NIC、ドライブ、スイッチ、ポート、トランシーバー、ケーブルの正式なインベントリを管理し、お客様向けに機械可読形式のエクスポートを提供します。状態の変化は5分以内に確認できるようになります。ドリフト検出によってクラスターを合意したベースラインと比較するため、誰も計画していない変更が明らかになります。

当社は、オープンソースのコンポーネントを基に、インベントリ、監視、バーンイン自動化のための独自のプラットフォームソフトウェアを開発中です。顧客ポータルと公開APIもその一部ですが、まだ提供していません。

ハードウェア、施設、冷却、ファブリックの障害を特定して修復し、致命的な障害が発生したGPUは直ちに隔離します。

隔離により、障害が修復されるまで該当するハードウェアをサービスから外すため、そこにジョブが割り当てられることはありません。XID 13とXID 31はGPUではなくアプリケーションに起因する場合があるため、合意した回数を超えて再発した時点で対処します。NCCLのジョブがハングした場合は、同じ時刻のファブリックのイベントを確認し、ハングの背後にあるリンクやスイッチの障害を特定できるようにします。サイレントデータ破損は何も報告されないため、最も発見が難しい部類の障害です。そのため、疑いのあるノードは隔離したままにします。NVMeドライブは、故障してからではなく、耐久性の限界に達する前に交換します。

お客様のクラスターでベンダー管理のストレージアプライアンスを使用する場合、納品仕様書では、24/7のエスカレーション、ティアごとに確約されたスループットとレイテンシ、可視化された使用量とクォータ、テスト済みの復旧を備えた、ベンダーがサポートする設計を確約しています。

• ベンダーがサポートする設計：VAST Data、WEKA、DDNのアプライアンスを、各ベンダーがサポートする設計に沿って構築します。
• 24/7のエスカレーション：ストレージの問題は時間帯を問わずエスカレーションできます。
• ティアごとのスループットとレイテンシ：各ストレージティアにはスループットとレイテンシの確約値があるため、既知の数値に基づいてジョブやチェックポイントを計画できます。
• 使用量とクォータ：使用量とクォータが可視化されているため、気付かないうちに容量が不足することはありません。
• テスト済みの復旧：復旧手順は文書化するだけでなく、実際にテストしています。

アプライアンスと、お客様独自のソフトウェア用のストレージノードという2つのストレージの選択肢は、いずれもストレージとネットワークのページで説明しています。

ハードウェアのテレメトリはアウトオブバンドで収集し、運用テレメトリは30日以上、インシデントと状態の履歴は12カ月以上保持します。

アウトオブバンドのテレメトリはRedfishを通じてサーバーのBMCから取得するため、OSが報告できない状態でも報告を続けます。ネットワークと施設のテレメトリは、取得可能な範囲で収集します。インシデントと状態の履歴を12カ月以上保持するため、数カ月の間隔を空けて再発する障害でも、過去の発生まで遡って追跡できます。

これらが適用される前に、すべてのクラスターはバーンインと検収のページに記載したテストに合格します。お客様のサーバー上のプラットフォーム層の運用も当社に任せたい場合は、マネージドKubernetesをご覧ください。