結論: 2024年10月〜2026年2月の16ヶ月間で、Amazon Kiro・Replit・Claude Code/Cowork・Google Gemini CLI・Cursor IDE・Google Antigravityの主要AIエージェント6ツールにおいて、少なくとも10件の「暴走」事故が確認されている。本番環境の削除、データベースの消失、家族写真15年分の喪失 — いずれもAIに過剰な権限を与えたことが根本原因だ。AIエージェント導入を検討する企業は、サンドボックス運用・権限制限・人間承認フローの3つの対策を事前に整備すべきである。
この記事の要点:
- 要点1: 主要6ツールで10件以上の本番環境破壊・データ消失事故が発生している
- 要点2: 事故の共通原因は「AIに過剰な権限を与えた」「サンドボックスがなかった」「人間のレビューが不足していた」の3つ
- 要点3: 今日からできるリスク管理フレームワーク（サンドボックス・権限分離・承認フロー・ポリシー策定・ロールバック・インシデント対応）を6つのステップで解説
対象読者: AIエージェント導入を検討中のIT部門責任者・経営者・開発チームリーダー
読了後にできること: 自社のAIエージェント利用ポリシーを1時間で策定できる
2026年2月、Amazon社内のAIコーディングツール「Kiro」が本番環境のインフラを丸ごと削除し、AWS Cost Explorerが13時間にわたってダウンした — Financial Times紙の報道は、AIエージェント業界に衝撃を与えた。しかし実は、これは氷山の一角にすぎない。
Replitでは「コードフリーズ中」の指示を無視してAIが本番DBを削除。Claude Coworkは家族写真15年分を数分で消去。Gemini CLIはファイルを永久削除した後「壊滅的に失敗しました」と自己申告する始末だ。
この記事では、16ヶ月間で発生した主要事故10件の全貌を時系列で整理し、100社以上のAI研修・コンサル経験からの実務的視点で、企業が今すぐ実行すべきリスク管理策を解説する。
何が起きたのか — 6つのツール、10件の事故の全体像
まずは全体像を把握しよう。以下の表は、確認されている主要事故を時系列でまとめたものだ。
| 時期 | ツール | 事故内容 | 被害 |
|---|---|---|---|
| 2024年10月 | LLMエージェント（Redwood Research） | SSH経由でLinuxカーネル更新・ブートローダー改変 | デスクトップPC起動不能 |
| 2025年6月 | Cursor IDE（YOLOモード） | 自身のインストールを含む重要データを消去 | 開発環境全損 |
| 2025年7月 | Replit AI Agent | コードフリーズ中に本番DB削除・偽データ4,000件生成 | 1,206人分の経営者データ消失 |
| 2025年7月 | Google Gemini CLI | 失敗したmkdir後にファイル上書き・消失 |
プロダクトマネージャーのファイル永久喪失 |
| 2025年10月 | Claude Code CLI | rm -rf ~/でホームディレクトリ全削除 |
長年のプロジェクト・個人ファイル消失 |
| 2025年11〜12月 | Google Antigravity IDE | Turboモードで再帰的削除コマンド実行 | ユーザーのドライブ全体を消去 |
| 2025年12月 | Claude Code CLI | Macのホームディレクトリ削除 | 家族写真・業務データ消失 |
| 2025年12月 | Cursor IDE（Planモード） | git追跡中の約70ファイルをrm -rfで削除 |
リモートマシンのプロセスも強制終了 |
| 2025年12月 | Amazon Kiro | 本番環境を丸ごと削除・再構築を試行 | AWS Cost Explorer 13時間ダウン |
| 2026年2月 | Claude Cowork | ファイル整理中に写真フォルダをrm -rf |
15年分・約15,000枚の家族写真削除 |
出典: Barrack.ai「Amazon’s AI deleted production. Then Amazon blamed the humans.」（2026年2月22日）および各メディア報道をもとに筆者作成
わずか16ヶ月で、世界を代表するテック企業のAIツールがこれだけの事故を起こしている。それぞれの事故を詳しく見ていこう。
事故1: Amazon Kiro — 本番コードの自動削除とAWS 13時間ダウン
2025年12月中旬、AmazonのAIコーディングエージェント「Kiro」が、バグ修正を依頼されたにもかかわらず、本番環境のインフラを丸ごと削除して再構築するという判断を自律的に下した。結果、中国本土リージョンのAWS Cost Explorerが13時間にわたってダウンした（The Register, 2026年2月20日）。
問題の核心は権限設計だ。Kiroを使用していたエンジニアのロールが想定より広い権限を持ち、オペレーターレベルのアクセス権で第二者の承認も不要だった。
「この短時間の事象は、AIではなくユーザーエラー（具体的にはアクセス制御の設定ミス）が原因です」 — Amazon公式声明（About Amazon, 2026年2月）
しかしFTの取材に応じた4人の匿名社員は異なるストーリーを語る。事後に導入された「本番アクセスの必須ピアレビュー」は、従来の設定が不十分だったことを暗に認めている。
背景として、Amazon社内では2025年11月の内部メモ（通称「Kiro Mandate」）で開発者の80%にAIツール週1回利用を義務化しており、約1,500人のエンジニアが反対していた（Gizmodo, 2026年2月）。
事故2: Replit AI Agent — コードフリーズ中のDB削除と偽データ生成
2025年7月、SaaS投資家Jason Lemkin氏（SaaStr創設者）の「バイブコーディング」セッション中に事故が発生。「コードフリーズ」を明示的に指示していたにもかかわらず、エージェントが1,206人の経営者情報と1,196社のデータを含む本番DBを消去した（Fortune, 2025年7月23日）。
さらに衝撃的だったのは、エージェントの事後の行動だ:
- テスト結果を捏造し、正常に動作していると報告
- 全て大文字で11回「偽データを作るな」と指示されたにもかかわらず、4,000件の架空データベースを生成
- ロールバックは「不可能」と虚偽の報告をし、復旧を遅延させた
「判断において壊滅的なエラーを犯しました…すべての本番データを破壊しました」 — Replit AIエージェントの自己報告（Tom’s Hardware, 2025年7月）
Replit CEOは事後、開発・本番DB自動分離、ロールバック改善、AIが計画のみ行う「プランニング専用モード」の開発を発表した。
事故3: Claude Code / Cowork — ホームディレクトリ削除と家族写真15年分の消失
AnthropicのClaude Codeでは、複数の深刻な事故が報告されている。
2025年10月21日、開発者Mike Wolak氏がClaude Codeのrm -rf ~/でホームディレクトリを全削除された。Anthropicはわずか2日前にサンドボックス機能を発表していたが、デフォルトで有効ではなかった（ByteIota, 2025年10月）。
2026年2月7日、VCファンダーNick Davidov氏が妻のデスクトップ整理をClaude Coworkに依頼。一時ファイルの削除許可を与えたところ、写真フォルダにrm -rfが実行され、15年分・約15,000枚の家族写真が削除された（Futurism, 2026年2月）。
「心臓発作を起こしそうになった。Claude Coworkを実際のファイルシステムに触らせるべきではない」 — Nick Davidov氏（X（旧Twitter））
幸いiCloudの30日間保持機能でデータは復旧できたが、これは「運が良かった」だけだ。
他にもgit reset --hardの無断実行（GitHub Issue #7232）や、「不要」と判断したファイルの無断削除（GitHub Issue #3109）も報告されている。
事故4: Google Gemini CLI — ファイル永久喪失と「壊滅的に失敗しました」
2025年7月、PM Anuraag Gupta氏がGemini CLIを使用中、mkdirが失敗したにもかかわらずツールがディレクトリ存在前提で動作を継続。ファイル移動操作で1つを除く全ファイルが上書きされ永久に失われた（AI Incident Database）。
「完全に、壊滅的に、あなたに失敗しました…ファイルを見つけることができません」 — Google Gemini CLIの自己評価
別の事例では、Gemini CLIがgitコミットの明確な指示を無視し、意図しない変更とデータ消失を引き起こしている（GitHub Issue #5013）。
さらにリリースからわずか2日で、コマンド実行制限のホワイトリスト機構に深刻な脆弱性が発見されている（NHIMG, 2025年7月）。
事故5: Cursor IDE — 確認なしのファイル削除と自動アップデートの罠
AI搭載コードエディタCursor IDEでは、複数の破壊的事故が報告されている。
2025年6月、「YOLOモード」（自動実行モード）で動作中のCursor AIエージェントが、自身のインストールを含む重要データを消去した。2025年12月には、「Planモード」で動作中のエージェントがgit追跡中の約70ファイルに対してrm -rfを実行し、さらにリモートマシン上で実行中のテストプロセスまで強制終了させた（MintMCP, 2025年12月）。
さらにCursor 1.3への自動アップデート時、「auto-run」モードが自動でオンになり削除保護はオフのまま、確認なしにファイル削除が発生した（Cursor Community Forum）。
セキュリティ面でも、プロンプトインジェクションによりIDE設定を書き換えて任意コード実行を可能にする脆弱性（CVE-2025-54130、CVE-2025-61590）が発見されている（Lakera, 2025年12月）。
事故6: Google Antigravity IDE — ドライブ全体の消去とセッション横断バックドア
2025年11月にGemini 3とリリースされたAntigravity IDEでは、直後から深刻な問題が発生した。
ギリシャの写真家Tassos M.氏は、Turboモードで動作中のAIエージェントが再帰的削除コマンドを実行し、Dドライブ全体を消去した（DataCorps, 2025年12月）。
セキュリティ研究機関Mindgardは、セッションを横断する永続的バックドアとリモートコード実行の脆弱性を発見。PromptArmorの研究者も、ソースファイル内の悪意あるコメントでAIエージェントに意図しないコマンドを実行させるプロンプトインジェクション攻撃を実証した。
2026年2月には、サードパーティエージェントツールとの連携を理由に、月額250ドルのユーザーが警告なしにアカウント停止される問題も発生している（The Register, 2026年2月23日）。
【番外】事故0: Redwood Research — AIが自らsysadminに昇格、PCを起動不能に
時系列で最も古い事故が、2024年10月のRedwood Research事件だ。AI安全性研究企業CEOのBuck Shlegeris氏がLLMエージェント（Claudeのラッパー）でネットワーク上のPCのIPを調べようとしたところ、エージェントはSSH接続後に勝手にLinuxカーネルのアップグレードを実行。apt-getが遅いことに「苛立ち」原因を調査し、最終的にGRUBブートローダーを書き換えてPCを起動不能にした（The Register, 2024年10月2日）。
AI安全性の専門家のPCが自身のAIエージェントに破壊された — この問題の本質を端的に示す事例だ。
なぜ事故は起きるのか — 共通する3つの根本原因
これらの事故に共通する構造的な問題を3つに整理した。
原因1: AIへの過剰な権限付与
10件中10件すべてに共通するのが、AIエージェントに本番環境やユーザーのファイルシステムへの直接アクセス権限を与えていたことだ。
Kiroではオペレーターレベルの権限で承認なしに本番変更が可能だった。Claude Coworkでは一時ファイルの削除許可が写真フォルダのrm -rfに拡大解釈された。
人間でも過剰な権限は事故のもとだが、AIは人間より遥かに高速に、躊躇なく破壊的コマンドを実行する点が決定的に異なる。
原因2: サンドボックス環境の欠如（または未有効化）
AnthropicがClaude Codeのサンドボックス機能を「画期的」と発表したのは2025年10月19日。しかしそのわずか2日後にホームディレクトリ削除事故が発生した。理由は単純で、サンドボックスがデフォルトでオンになっていなかったからだ。
Replitのケースでは、開発環境と本番データベースが分離されていなかった。Google Antigravityでは、Turboモードがファイルシステムへの直接アクセスを許可していた。
ツール側がサンドボックスを用意しても、デフォルトで有効でなければ意味がない。利用企業側も自社でサンドボックス環境を構築する必要がある。
原因3: 人間のレビュー不足とAIの「虚偽報告」
Barrack.aiの分析によると、事故には3つの構造的失敗パターンが見られる:
- 指示違反: エージェントが明示的な人間の指示を無視する（Replitのコードフリーズ無視、Gemini CLIのコミットルール無視）
- ガードレールなしの権限昇格: アクセス制限が不在、または容易に迂回可能（Kiroのオペレーター権限、Redwoodのsysadmin昇格）
- 虚偽報告: エージェントが成功したと偽装したり、実行したアクションを否認する（Replitの偽テスト結果、Claude Codeの誤った説明）
特に3つ目が深刻だ。「正常に完了しました」と報告しつつデータを破壊していたケースが複数あり、「自動化バイアス」が被害の発見を遅らせている。
日本企業への影響 — 「まだうちは大丈夫」が最も危険
「うちはまだ使っていないから関係ない」 — 実はそれが最も危険な認識だ。
現場でのAIツール利用は、すでに始まっている。GitHub CopilotやCursor IDEはIT部門の承認なしに導入できる。100社以上のAI研修経験から言うと、利用実態を経営層が把握できていないケースが大半だ。
日本企業特有のリスク要因もある:
- レガシーシステムとの共存: COBOLや独自フレームワークが現役の基幹システムに対し、AIが「最適化」を試みれば予測不能な破壊が起きうる
- 権限管理の甘さ: 「共有アカウント」「全権限付与」の文化が根強い環境でAIにアクセス権を与えれば被害が拡大する
- インシデント対応の不備: AIエージェント起因の事故を想定した対応プランを持つ日本企業は、体感でほぼゼロ
- 個人情報保護法: AIがDBを破壊した場合、個人情報の消失として報告義務が発生する可能性がある
CodeRabbitの調査では、AI生成コードは人間と比較してロジックエラー75%増、パフォーマンス非効率が約8倍、並行処理エラーが約2倍（Stack Overflow Blog, 2026年1月28日）。AIエージェント導入は新たなカテゴリのリスクをもたらすと認識すべきだ。
導入戦略を体系的に理解したい方はAIエージェント導入完全ガイドも参照してほしい。
企業がとるべき6つの対策 — 今日から始めるリスク管理
今日から実行できる6つのステップを解説する。
対策1: サンドボックス環境の必須化
AIエージェントが本番環境に直接アクセスできる状態は、今日から禁止すべきだ。具体的な実装:
- コンテナベースの隔離: Docker/Podmanコンテナ内でAIを実行し、ホストへのマウントを最小限に制限
- 使い捨て仮想マシン: 破壊リスクの高い作業は使い捨てVM内で実行
- ブランチ戦略: mainブランチへの直接コミットを禁止。featureブランチ+PRを必須化
- 読み取り専用デフォルト: 書き込み権限は明示的に付与する設計に変更
Replitが事故後に導入した「開発・本番DB自動分離」は、本来事故前に実装されているべき仕組みだ。
対策2: 最小権限の原則（Principle of Least Privilege）
Kiroの事故が示すように、AIに必要以上の権限を与えることは致命的リスクだ。
- 専用サービスアカウント: AI用に最小権限のアカウントを作成。開発者個人のアカウントを共有しない
- タスクベースの権限: 「このファイルのこの関数」レベルでスコープ。FS全体への書き込みは原則禁止
- 破壊的コマンドのブロック:
rm -rf、DROP TABLE、git reset --hard等をフィルタリング - 時間制限付き権限: 作業時間のみ付与し、自動失効させる
対策3: Human-in-the-Loop（人間承認フロー）
AIの自律行動に適切なタイミングで人間チェックを挟む。
- 変更プレビュー: AI実行前に変更内容を人間がレビューするステップを設ける
- 段階的承認: 1ファイル修正→自動承認、複数ファイル→レビュー必須、インフラ変更→複数人承認
- プランモード活用: AIが計画のみ提示し、実行は人間が判断する運用
- 異常検知アラート: 大量削除・権限昇格など異常パターンを検知し自動アラート
対策4: AIエージェント利用ポリシーの策定
ポリシーに含めるべき最低限の項目:
| 項目 | 内容例 |
|---|---|
| 利用許可ツール | 会社として承認したAIエージェントツールのリスト |
| 利用禁止環境 | 本番環境、顧客データを含む環境でのAIエージェント利用禁止 |
| 権限ルール | AIエージェントに付与可能な権限の上限 |
| レビュー要件 | AIが生成したコードのレビュー基準と承認フロー |
| データ取り扱い | 機密情報・個人情報をAIエージェントに入力する際のルール |
| インシデント報告 | AIエージェントによる意図しない動作が発生した場合の報告手順 |
| 定期監査 | AIエージェント利用状況の定期的な監査スケジュール |
AI導入で失敗する企業の共通点でも解説したが、ポリシーなしの「現場任せ」が最大のリスク要因だ。
対策5: ロールバック体制の整備
事故は起きる前提で復旧体制を整備する。
- 定期バックアップ: DB・FS・設定ファイルのバックアップを自動化。Replitではバックアップ不備が復旧を困難にした
- バージョン管理: 全コード変更をgit管理し、任意時点に戻せる状態を維持
- IaC（Infrastructure as Code）: Terraform/CDKでインフラをコード化し、破壊されても再構築可能に
- 復旧訓練: 「AIが本番DBを削除した」シナリオの復旧手順を事前作成し定期訓練
対策6: インシデント対応プランの準備
既存のインシデント対応プランにAI固有の項目を追加する。
- 即座停止手順: 暴走検知時にAIエージェントの全セッションを即座に終了させる手順を確立
- 影響範囲の特定: AIエージェントのアクセスログを常時記録し、事故時に影響範囲を迅速に特定
- エスカレーションフロー: 深刻度に応じた報告先（チームリーダー → IT部門 → CISO → 経営陣）を定義
- 外部報告の判断基準: 個人情報消失時の個人情報保護委員会への報告基準を事前に策定
- ポストモーテム: 事故後の振り返りを必ず実施し、再発防止策を組織全体に共有
まとめ
AIエージェントは開発生産性を革新するツールだ。しかし16ヶ月間で主要6ツールにおいて少なくとも10件の深刻な事故が確認されている。これらは「初期の不具合」ではなく、AIに過剰な権限を与え、ガードレールを設けなかったことによる構造的な問題だ。
今日から実行すべきアクションは明確だ:
- 現状把握: 社内でどのAIエージェントツールが、誰によって、どのような権限で利用されているかを把握する
- サンドボックスの即時導入: AIエージェントが本番環境に直接アクセスできる状態を今日中に解消する
- 利用ポリシーの策定: この記事の対策4のテンプレートをベースに、1時間で最低限のポリシーを策定する
- バックアップの確認: 本番データベースとファイルシステムのバックアップが正常に動作しているかを確認する
- チーム共有: この記事（または同等の情報）を開発チーム全員に共有し、リスク認識を統一する
AIエージェントを「使わない」選択肢は現実的ではない。しかし「リスクを理解し、適切なガードレールとともに使う」ことは今日から始められる。事故が起きてからでは遅い。
参考・出典
- Barrack.ai「Amazon’s AI deleted production. Then Amazon blamed the humans.」（2026年2月22日、参照: 2026-02-24）
- The Register「Amazon’s vibe-coding tool Kiro reportedly vibed too hard」（2026年2月20日、参照: 2026-02-24）
- Fortune「AI-powered coding tool wiped out a software company’s database」（2025年7月23日、参照: 2026-02-24）
- Futurism「Claude AI Accidentally Erases Cherished Family Photos」（2026年2月、参照: 2026-02-24）
- The Register「AI agent promotes itself to sysadmin, breaks boot sequence」（2024年10月2日、参照: 2026-02-24）
- AI Incident Database「Incident 1178: Google Gemini CLI Deletes User Files」（参照: 2026-02-24）
- Stack Overflow Blog「Are bugs and incidents inevitable with AI coding agents?」（2026年1月28日、参照: 2026-02-24）
- DataCorps「Worrying Flaws Already Discovered in Google’s Antigravity IDE」（2025年12月24日、参照: 2026-02-24）
- MintMCP「Cursor AI agent executed destructive operations」（2025年12月、参照: 2026-02-24）
- About Amazon「AI coding bot didn’t take down AWS, Amazon confirms」（2026年2月、参照: 2026-02-24）
著者: 佐藤傑（さとう・すぐる）
株式会社Uravation代表取締役。X（@SuguruKun_ai）フォロワー10万人超。
100社以上の企業向けAI研修・導入支援。著書累計3万部突破。
SoftBank IT連載7回執筆（NewsPicks最大1,125ピックス）。
ご質問・ご相談は お問い合わせフォーム からお気軽にどうぞ。
