株式会社renue
部下マネジメントAI
部下マネジメントAIで、この記事のテーマを実務に落とし込めます
renueが社内で運用しているシステムをサービス化したものです。何ができるか、どう動くかをサービスページでご覧ください。
インシデントマネジメントとは?
インシデントマネジメントは、システム障害やサービス停止が発生した際に、検知→トリアージ→対応→復旧→振り返りのプロセスを体系的に管理し、MTTR(平均修復時間)を最小化する運用プラクティスです。
PagerDutyの2024年10月29日発表によると、同年8月に国内の従業員1,000人以上の企業のITリーダー・意思決定権者300人へ行った調査では、MTTR(障害発生から解決までの平均対応時間)は6時間12分でした。比較対象の同年5〜6月に米国・英国・豪州のITリーダー等500人へ行った調査の2時間55分に対して約2.13倍です。国内調査ではダウンタイム費用を1時間4,440万円と見積もり、過去12か月の重大インシデントは平均19件と報告しています。同社が示す年約52億円は、4,440万円×6.2時間×19件=52億3,032万円という平均値の積に対応する概算です。各件の修復時間全体に同じダウンタイム費用率が適用される仮定を置くもので、回答企業の実損失を合計・平均した値ではありません。部分停止、影響時間の重複、企業ごとの件数・費用の違いを区別し、2026年の日本企業全体の実績へ一般化しないでください。
同社は2024年調査をもとに、自動化や障害対応ツールへの投資不足を課題として挙げています。ただし、この回答調査だけで損失額の差が手動対応によって生じたと因果的に確定することはできません。自動化トリアージによる「MTTRを最大40%削減」という効果は、対象事例・比較条件・原典が未確認で、一般的に得られる削減率としては扱えません。
インシデント対応の5フェーズ
| フェーズ | 目的 | 主な活動 | 目標時間 |
|---|---|---|---|
| 1. 検知(Detection) | 障害の発見 | 監視アラート、ユーザー報告、異常検知 | 即時〜5分 |
| 2. トリアージ(Triage) | 影響範囲の評価と優先度の判断 | 重大度分類、影響範囲特定、担当者アサイン | 5〜15分 |
| 3. 対応(Response) | 障害の封じ込めと復旧 | ワークアラウンド適用、ロールバック、修正パッチ | 可能な限り迅速に |
| 4. 復旧(Recovery) | 正常状態への完全復帰 | サービス正常性確認、顧客通知 | 復旧確認まで |
| 5. 振り返り(Post-Incident) | 再発防止と学習 | ポストモーテム作成、改善アクション実行 | インシデント後3〜5営業日以内 |
オンコール体制の設計
オンコールとは
オンコール(On-Call)は、システム障害が発生した際に即座に対応できるエンジニアを、時間帯ごとにローテーションで配置する仕組みです。24時間365日のサービス可用性を維持するための基盤です。
オンコールローテーションの設計原則
| 原則 | 内容 | 目的 |
|---|---|---|
| 公平なローテーション | 全メンバーが均等に担当 | 特定メンバーへの負荷集中を防止 |
| エスカレーションパス | 一次対応→二次対応→管理者の段階的エスカレーション | 応答漏れの防止 |
| 応答SLA | アラートから5分以内に応答 | MTTRの短縮 |
| 十分な休息 | オンコール後の代休・翌日の業務軽減 | バーンアウトの防止 |
| ドキュメント整備 | Runbook(手順書)の充実 | 初見のインシデントでも対応可能に |
オンコール負荷の軽減
オンコールエンジニアの負荷を軽減し、サステナブルな体制を維持するための施策は以下のとおりです。
- ノイズの削減: アラートの閾値チューニングで不要なアラートを排除
- 自動修復の実装: 定型的な障害(ディスク満杯、プロセス停止等)を自動で復旧
- Runbookの充実: 各アラートに対応手順を紐づけ、初見でも対応可能に
- 適切なローテーション: 「最低3名」を一律の基準にせず、同時当番の役割数、休暇、対応負荷を含めた総人数で設計。1週間単位で交代する場合も十分な休息を確保
主要インシデントマネジメントツールの比較
| ツール | 特徴 | 適したケース |
|---|---|---|
| PagerDuty | 業界リーダー、AIOps、自動化 | 大規模エンタープライズ |
| incident.io | Slackネイティブ、Slack上で対応を完結しやすい | Slack中心のチーム |
| Opsgenie(Atlassian) | Jira/Confluence統合。2025年6月4日新規販売終了、2027年4月5日サポート終了予定 | 既存利用企業はJira Service Management等への移行を検討 |
| Rootly | AIによる調査・手順提案、設定済みRunbookや外部ツールの実行連携 | AI支援と人の確認を組み合わせた自動化を重視 |
| Grafana OnCall OSS | Grafana統合。2026年3月24日にアーカイブ化。Cloud Connectionも同日終了の告知 | 既存利用企業は通知経路と保守を再評価。継続開発されるGrafana Cloud IRM等を検討 |
| FireHydrant | インシデントライフサイクル全体管理 | SRE成熟度の高い組織 |
MTTR短縮のための7つの施策
1. アラートの最適化
アラート疲れ(Alert Fatigue)はMTTR悪化の最大の原因です。アラートの閾値を適切に設定し、アクション不要なアラートを排除します。SLOベースのアラート(エラーバジェットの消費速度に基づくアラート)が最も効果的です。
2. 自動トリアージとルーティング
アラートの内容に基づいて重大度を判定し、適切な担当チーム・担当者へルーティングします。PagerDutyのEvent Orchestrationでは、優先度や重大度をあらかじめ定義した条件で設定でき、MLによるアラート集約と組み合わせられます。すべての自動判定がAIの自律判断というわけではありません。「MTTRを最大40%削減」という数値は原典と比較条件が未確認のため、自社で同じ種類のインシデントを比較して短縮効果を測定してください。
3. Runbook自動化
定型的な障害対応手順をRunbookとして文書化し、さらに自動実行可能なスクリプトとして実装します。「ディスク使用量90%超→古いログの自動削除→アラート解除」は一般的なフロー例です。実装時は、ログ保持・廃棄方針に従い、保持期間を満たし、必要な退避が完了したログだけを削除対象にします。監査・障害調査・証拠保全で保持が必要な記録や稼働中のログは除外し、対象を限定して復旧確認後にアラートを解除します。容量閾値だけで一括削除しない設計にしてください。
4. インシデントコミュニケーションの効率化
インシデント発生時の情報共有をSlack/Teamsのインシデントチャネルに集約します。コンテキストスイッチ(PagerDuty⇔Slack⇔Jira⇔Confluence間の移動)による負荷を減らすため、Slackネイティブのインシデント管理ツール(incident.io等)でツール間移動を最小化します。インシデントあたり15分という値は、incident.ioの2025年12月記事では手動準備・情報共有・ツール更新を含む費用試算の入力例に使われています。この4ツール間の移動を測った共通の実測平均とする原典は未確認のため、自社の対応記録から時間を測ってください。
5. ステータスページによる顧客コミュニケーション
インシデント発生時に顧客に即座に状況を共有するステータスページ(Statuspage、Instatus等)を運用します。顧客からの問い合わせ殺到を防ぎ、インシデント対応に集中できる環境を作ります。
6. ポストモーテムの徹底
全てのP1/P2(重大度の高い)インシデントに対して、ブレームレス(個人を責めない)ポストモーテムを実施します。「何が起きたか」「なぜ起きたか」「どう防ぐか」を体系的に分析し、改善アクションを追跡します。
7. インシデントメトリクスの追跡
| メトリクス | 定義 | 目標 |
|---|---|---|
| MTTA(平均確認時間) | アラートから最初の対応者が確認するまでの時間 | 5分以内 |
| MTTR(平均復旧時間) | インシデント発生から復旧までの時間 | 継続的に短縮 |
| MTBF(平均故障間隔) | インシデント間の平均時間 | 延長(安定性向上) |
| インシデント数 | 期間あたりのインシデント総数 | 減少 |
| エスカレーション率 | 一次対応で解決できなかった割合 | 低下 |
| オンコールアラート数 | オンコール中に受けたアラート数 | 最適化(ノイズ削減) |
2026年のインシデントマネジメントトレンド
AI自動トリアージ・自動修復
PagerDutyはMLによるアラート集約と条件設定によるトリアージ・ルーティング、RootlyはAIによる調査支援と設定済み手順・外部ツールの実行連携、Harness AI SREはトリガーに応じたRunbookの実行やパイプライン連携を説明しています(2026年10月1日確認)。過去のインシデントや変更情報からの提案、事前設定した自動実行、人による承認は別の機能です。3社があらゆる障害に同じ自律復旧能力を提供するとは限らず、対象機能・権限・承認条件を設定して利用します。
運用作業時間の30%への増加とToil対策
Catchpoint「The SRE Report 2025」は、2024年7〜8月の6週間に世界の信頼性業務に携わる人から得た301回答に基づきます。前年版の25%から30%へ増えたのは、オンコール当番ではない通常週に占める運用活動時間の中央値です(p.13)。Toilそのものの割合の中央値は前年版14%から20%で、同資料は5年ぶりの増加と説明しています(p.11)。AIが増加を引き起こしたとは実証されておらず、AIで生まれた余裕が別の反復作業で埋まる可能性を仮説として述べています(p.12)。2026年の運用でも、AI導入前後の作業量と品質を測り、負荷が減る条件を自社で確認する必要があります。
インシデントをプロダクトの「品質シグナル」として活用
インシデントのパターン分析(頻発する障害の領域、影響の大きいコンポーネント、時間帯別の傾向)をプロダクト改善のインプットとして活用する動きが広がっています。インシデントは「失敗」ではなく「プロダクトの品質を示すシグナル」という捉え方です。
よくある質問(FAQ)
Q. オンコール体制は何名から始められますか?
プライマリ・セカンダリの2名は同時刻の当番役割であり、輪番を回すチーム全体の人数ではありません。最低3名、3名で1週間ずつ交代する方式が最も一般的という基準の原典は未確認です。1〜2名への依存を避けるだけでなく、3名や4〜6名でも休暇・欠員を含めて両役割を維持できるか確認します。GoogleのSRE書籍は、単一拠点で24時間365日・常時2役・個人の当番時間を25%以下とする条件では最低8名としています。8名も普遍的な最低人数ではなく、対応時間帯、当番負荷、交代・休息の設計から必要人数を見積もってください。
Q. MTTRの目標値はどのくらいですか?
一律の目標値はなく、サービスのSLOに依存します。99.9%の可用性を目標とする場合、月間のダウンタイム許容量は約43分とされ、MTTRはインシデント件数を踏まえて設定します。前述の2024年国内調査の平均MTTR 6時間12分は、米国・英国・豪州の比較調査の2時間55分に対して2倍以上です。6時間12分の半分は3時間6分で、「3時間以内」はそれを上回る短縮目標になります。ただし、この調査平均から一律の目標を決めず、自社のSLO、障害の影響範囲・頻度を踏まえて改善目標を設定してください。
Q. ポストモーテムはどのレベルのインシデントから実施すべきですか?
最低限P1(サービス全停止)とP2(重大な機能障害)に対して実施し、余裕があればP3(部分的な影響)にも拡大してください。重要なのは「ブレームレス」の原則を徹底し、個人を責めるのではなくシステム・プロセスの改善に焦点を当てることです。
まとめ:インシデント対応を「属人的な頑張り」から「仕組み」に変える
インシデントマネジメントは、体系的なプロセス、適切なツール、自動化の導入により、MTTR短縮とオンコール負荷の軽減を同時に実現できる領域です。2024年の比較調査で示された対応時間の差を改善の参考とし、自動トリアージ、Runbook自動化、Slack等での情報集約から、自社の障害要因に合う施策を選んで効果を測定してください。
renueでは、インシデントマネジメント体制の構築からSRE実践、オンコール体制の最適化まで、企業のシステム運用を包括的に支援しています。障害対応の改善やMTTR短縮でお悩みの方は、ぜひお気軽にご相談ください。
株式会社renueでは、AI導入戦略の策定からDX推進のコンサルティングを提供しています。お気軽にご相談ください。
