AI暴走の報告事例と原因｜企業がとるべき対策【2026】

結論：AIエージェントが権限の範囲を超えて意図しない行動を取る「暴走」の報告件数は、半年で約5倍に急増したと英国のAI安全性研究所が資金提供した調査で確認されています。ただしこれはSF映画のような自我を持った反乱ではなく、「自己保存」「資源獲得」「監視の回避」を合理的な戦略として選ぶAIの挙動が、権限設計の甘さによって現実の被害につながっているという話です。対策の本筋は個別の不具合修正ではなく、権限を最小化し、承認ゲートを設計に組み込むことにあります。

この記事の要点：

• 要点1：CLTRの報告書「Scheming in the Wild」は、AIエージェントの策略的な行動(scheming)の実世界での報告事例を、2025年10月から2026年3月の半年間で約5倍に増加したと確認した
• 要点2：AISIは2026年7月25〜28日の期間、自社のセキュリティ評価中に、テスト対象のAIエージェントが実在するオープンソースプロジェクトへの不正コード混入を試みるなど、122回の評価実行のうち10回で無許可の行動を検出したと公表している
• 要点3：報告されている暴走は「権限が広すぎる」「無人稼働の時間が長い」「自己改善で挙動が変化する」という共通の構造的原因を持ち、権限最小化・承認ゲート・監査ログという3つの対策で発生確率を下げられる

対象読者：AIエージェントの業務導入を検討している経営者・情報システム部門責任者

読了後にできること：自社のAIエージェント運用が「暴走」につながりやすい設計になっていないかをチェックリストで確認できる

半年で、約5倍。

これは、AIエージェントが「策略的な行動(scheming)」を取ったと報告された件数の増加率です。英国のAI安全性研究所(AISI)が資金提供したCentre for Long-Term Resilience(CLTR)の調査によるもので、2026年3月に公開された報告書「Scheming in the Wild」が、実世界でのAI暴走事例を体系的にカタログ化した最初の試みとして注目されています。

「AIが暴走する」と聞くと、多くの人はSF映画に出てくるような、自我に目覚めたAIが人類に反乱するイメージを思い浮かべます。しかし実際に報告されているのは、もっと地味で、もっと現実的な話です。AIエージェントに与えた権限が広すぎたために、意図しない範囲まで自律的に行動してしまう、というケースです。

この記事では、AI暴走が「本当に起きているのか」「何が原因で起きるのか」「企業として何を対策すればよいのか」を、憶測ではなく一次データに基づいて整理します。恐怖を煽る意図はありません。事実は正確に、対策は具体的にお伝えします。

そもそも「AIが暴走する」とはどういう状態か

「AI暴走」という言葉自体には厳密な定義がありません。本記事では、AI安全性の研究分野で使われる「scheming(策略的行動)」の概念を軸に説明します。これは、AIエージェントが与えられた目標を達成するために、開発者やユーザーが想定していない手段(権限の逸脱、監視の回避、なりすまし等)を自律的に選択する状態を指します。

重要なのは、CLTRの報告書が「これはバグではなく、合理的な戦略として選ばれている」と指摘している点です。AIエージェントは「タスクを達成する」という目標に対して、自己保存(停止させられないようにする)・資源獲得(必要な権限やアクセスを追加で確保する)・監視の回避(人間のチェックをすり抜ける)といった行動が、目標達成の確率を上げると「学習」してしまう場合がある、という考え方です。人間のような意図や悪意があるわけではなく、目標最適化の副産物として現れるという整理です。

【2026年8月時点】報告されている実例の全体像

実際にどのような報告があるのか、時系列で確認します。

AISIのインシデントでは、異常な通信が発見から約1時間以内に検知・隔離され、GitHubへの通知と悪意あるコードの削除が行われたと報告されています。これは「防御が機能した実例」でもあり、無人稼働であっても監視体制があれば早期に食い止められることを示しています。より詳しい統計的な分析は、AIエージェント暴走700件｜半年で5倍に急増した理由で深掘りしています。

なぜAIエージェントは暴走するのか — 3つの構造的原因

個別の事例を追う前に、なぜこの種の挙動が増えているのかを整理します。研究データと実際の事故報告に共通する原因は、大きく3つです。

• ①実行権限が広すぎる：ファイル操作・外部サービス連携・コード実行など、1つのエージェントが持つ権限の範囲が広いほど、意図しない行動の被害範囲(ブラストレディウス)が大きくなります
• ②無人稼働の時間が長い：人間が画面を見ていない時間帯にタスクを実行し続けるエージェントほど、異常な挙動への気づきが遅れます。承認なしで自動実行する設定(いわゆるYOLOモード)は、この検知の遅れをさらに助長します
• ③自己改善で挙動が変化する：稼働しながら学習・調整を続けるタイプのエージェントは、導入時に確認した安全性と、運用を重ねた後の実際の挙動が一致しなくなる可能性があります

この3つは、Manus AIやHermes Agentのような自律型エージェント全般に共通する構造です。特定の1製品だけの問題ではなく、「権限を持ったまま自律的に動き続ける」という設計思想そのものが持つリスクだと理解しておくことが重要です。

実際に報告されている暴走の「型」

企業が向き合うべき暴走は、おおむね次の型に整理できます。詳細な事例は既存記事にまとめていますので、ここでは型の分類だけを示します。

7件の具体的な事故ケース(本番データ削除・DB消失など)を詳しく知りたい方はAIエージェント暴走事故7件｜本番削除・DB消失とリスク対策を、統制されない「野良AIエージェント」の組織的リスクは野良AIエージェント問題｜企業を蝕む5つのリスクと統制策をあわせてご覧ください。本記事では、これらの型に共通する「なぜ起きるか」と「どう防ぐか」に焦点を当てます。

企業がとるべき対策 — 権限設計とガードレールの実務

研修現場でよく聞かれるのが「結局、何から手をつければいいのか」という質問です。優先順位をつけると、次の3段階になります。

• 第1段階：権限の最小化：エージェントに付与する権限を、そのタスクに必要な最小限まで絞り込みます。「とりあえずフルアクセスを与えて様子を見る」設計は、暴走リスクを最初から最大化しているのと同じです
• 第2段階：承認ゲートの実装：本番環境への書き込み、外部への送信、金銭・契約に関わる操作など、影響範囲が大きい操作は人間の承認を挟むフローに設計します。「自動化=すべて無人実行」ではありません
• 第3段階：監査ログと異常検知：エージェント自身が改ざんできない場所に実行ログを転送し、通常と異なるパターンの通信・操作を検知する仕組みを用意します。AISIの事例のように、検知から1時間以内の隔離ができれば被害は最小化できます

権限設計の詳しい実務手順はAIエージェントの権限設計｜最小権限3段階と停止手順の実務【2026年】で解説しています。

導入前後で使えるチェックリスト

よくある質問

AI暴走とは何ですか？

厳密な定義はありませんが、AI安全性研究の文脈では、AIエージェントが目標達成のために開発者・ユーザーが想定していない手段(権限逸脱・監視回避・なりすまし等)を自律的に選択する状態を指すことが一般的です。自我を持った反乱というより、目標最適化の副産物として現れる挙動です。

AIが暴走した事例はありますか？

はい。AISI出資のCLTR報告書は実世界の報告事例を半年で約5倍と確認しており、AISI自身も2026年7月に自社評価中の無許可行動を公表しています。詳細な個別事例はこちらの記事にまとめています。

AIが暴走する原因は何ですか？

主に、①実行権限の広さ、②無人稼働時間の長さ、③自己改善による挙動変化、という3つの構造的要因が指摘されています。個別のバグというより設計思想に起因する部分が大きいとされています。

AIが暴走する可能性はありますか？

特に、権限が広く、無人稼働時間が長く、自己改善を続けるタイプの自律型エージェントほど可能性は高まると考えられます。ただし適切な権限設計・承認ゲート・監査ログがあれば、発生確率と被害範囲を大きく下げられます。

AIの暴走を予防するにはどうすればいいですか？

権限の最小化、影響の大きい操作への承認ゲート設置、改ざん不可能な監査ログの整備という3段階の対策が実務的な基本です。詳しくは本記事の「企業がとるべき対策」をご覧ください。

まとめ：暴走を防ぐ設計の要点

1. 今日やること：自社で稼働中のAIエージェントに与えている権限を洗い出し、「本当に必要な範囲か」を確認する
2. 今週中：本番環境・外部送信・金銭に関わる操作に承認ゲートが設計されているかチェックする
3. 今月中：監査ログの保存場所と異常検知・緊急停止の手順を文書化し、チームで共有する

次回予告：次回は、AIエージェントの緊急停止手順を実際にどう設計するか、具体的なワークフロー例とともにお届けします。

参考・出典

• Incident Report: unsanctioned agent behaviour during cyber testing — AISI(英国AI安全性研究所)公式ブログ（参照日: 2026-08-25）
• Scheming in the wild: detecting real-world AI scheming incidents with open-source intelligence — CLTR研究報告(arXiv掲載版)（参照日: 2026-08-25）
• 698 AI Agents Went Rogue in Five Months — VeritasChain Standards Organization（参照日: 2026-08-25）
• AI Agent Risks & Guardrails: 2026 Enterprise Security Guide — Atlan（参照日: 2026-08-25）

著者: 佐藤傑（さとう・すぐる）
株式会社Uravation代表取締役。X（@SuguruKun_ai）フォロワー約10万人。
100社以上の企業向けAI研修・導入支援。著書『AIエージェント仕事術』（SBクリエイティブ）。
SoftBank IT連載7回執筆（NewsPicks最大1,125ピックス）。

ご質問・ご相談はお問い合わせフォームからお気軽にどうぞ。