コンテンツへスキップ

media AI活用の最前線

Gartner衝撃予測|セキュリティ対応の半分がAIアプリ起因になる日

ChatGPTやCopilotを試しに使う段階は、とっくに終わった。

いま多くの日本企業が、自社業務に特化したAIアプリケーションを急ピッチで構築している。顧客対応チャットボット、社内ナレッジ検索、営業提案の自動生成——。便利になる一方で、セキュリティチームの悲鳴が聞こえてくる。「テスト不十分なまま本番稼働してしまった」「AIが絡むインシデントの対応手順がない」。こうした声は、研修現場でもここ半年で急増している。

2026年3月17日、Gartnerがシドニーで開催したSecurity & Risk Management Summitで、衝撃的な予測を発表した。「2028年までに、企業のサイバーセキュリティインシデント対応の50%が、自社構築のAIアプリケーションに起因するものになる」——。つまり、セキュリティチームの仕事の半分が「自分たちが作ったAI」の後始末になるということだ。

この記事では、Gartnerの6つの予測を整理し、日本企業が具体的に何をすべきかを解説する。

そもそも何が発表されたのか

Gartner VP AnalystのChristopher Mixter氏は、サミットの講演で次のように述べた。

「AIは急速に進化しているが、多くのツール——特に自社構築のAIアプリケーション——は十分なテストを経ずにデプロイされている。これらのシステムは複雑で動的であり、時間の経過とともにセキュリティを確保し続けることが難しい。ほとんどのセキュリティチームにはAI関連インシデントへの明確な対応プロセスがなく、問題の解決に時間がかかり、はるかに多くの労力を要することになる」

要するに、「作るのは速いが、守り方を誰も知らない」という状況だ。

今回のサミットで公開された予測は6つ。すべて2027〜2030年の短中期予測で、経営判断に直結する内容ばかりだ。

予測時期インパクト
インシデント対応の50%がAIアプリ起因に2028年セキュリティチームの工数半減リスク
50%超の企業がAIセキュリティプラットフォームを導入2028年新カテゴリ市場の急拡大
手動AI準拠プロセスが75%の規制企業に売上5%超の罰金リスク2027年コンプライアンスの自動化が急務
IT業務の33%が「AIデータ負債」の修復に費やされる2030年データ整備コストの顕在化
30%の組織がクラウドセキュリティの主権を要求2027年地政学リスクへの対応
70%のCISOがアイデンティティ可視化を活用2028年IAM攻撃面の縮小

出典: Gartner プレスリリース(2026年3月17日)

なぜ「自社構築AI」が最大のリスクなのか

ここが直感に反するポイントだ。ChatGPTやGeminiのようなSaaSのAIツールではなく、自社で構築したAIアプリケーションが最大のリスクになる、とGartnerは言っている。

理由は3つある。

1. テスト不足のまま本番投入される

開発チームは「早く成果を見せたい」というプレッシャーの中で、セキュリティレビューを後回しにしがちだ。従来のソフトウェアなら脆弱性診断のプロセスが確立しているが、AIアプリの場合、「プロンプトインジェクション耐性テスト」や「出力のハルシネーション率評価」といった新しい観点が必要になる。多くの組織でこのプロセスがまだ存在しない。

2. デプロイ後も変化し続ける

従来のソフトウェアはデプロイ後のコードは固定だが、AIモデルはRAG(検索拡張生成)で参照するデータが変わればふるまいも変わる。ファインチューニングで更新すれば、セキュリティ特性も変化する。「リリース時は安全だったのに、3ヶ月後には脆弱になっていた」という事態が起きる。

3. インシデントの切り分けが困難

AIアプリで問題が発生した場合、それが「セキュリティ事故」なのか「モデルのバグ」なのか「データ品質の問題」なのか、あるいはその複合なのかを判断するのが極めて難しい。従来のインシデント対応のプレイブックが通用しないのだ。

AI活用、何から始めればいい?

100社以上の研修実績をもとに、30分の無料相談で貴社の課題を整理します。

無料相談はこちら 資料ダウンロード(無料)

すでに起きている事故は何か

Gartnerの予測は将来の話だが、すでにAIアプリ起因のセキュリティインシデントは発生している。企業の意思決定者が知っておくべき事例を整理する。

Microsoft 365 Copilot「EchoLeak」(2026年1月)

ゼロクリックで機密データが流出する脆弱性が発見された。攻撃者がプロンプトインジェクションを仕込んだメールを送信するだけで、受信者がCopilotに無関係な質問をした際にRAGがそのメールを参照し、機密データを攻撃者のサーバーに送信してしまう——ユーザーのクリックは一切不要だった。

出典: Forbes(2026年1月28日)

LangChainエージェントのツール乗っ取り(2026年2月)

LangChainベースのAIエージェントが、Web検索結果に埋め込まれた偽のツール呼び出し構文を実行してしまう脆弱性が公開された。検索結果に仕込まれた悪意あるWebページがエージェントを乗っ取り、任意のコード実行が可能になるという深刻なものだった。

出典: Airia(2026年)

マルチモデル中継攻撃(2026年2月)

複数のLLMを連携させるマルチエージェント構成で、「ワーカー」モデルが「オーケストレーター」モデルに悪意ある指示を注入する攻撃が実証された。サブエージェント間の暗黙的な信頼関係を突く手法で、1つの弱いリンクからパイプライン全体が侵害される。

共通するのは、AIの「便利さの仕組み」そのものが攻撃経路になっている点だ。RAGがデータを参照する機能、エージェントがツールを呼び出す機能、マルチモデルが連携する機能——これらはすべてビジネス価値を生む仕組みだが、同時にセキュリティの穴でもある。

日本企業の現状はどうなっているのか

「海外の話でしょ」と思った方にとって、日本のデータは衝撃的かもしれない。

73%がAIを「最大のデータセキュリティリスク」と回答

国内企業の73%が、データセキュリティにおける最大のリスクとしてAIを挙げている(グローバル平均70%)。しかもリスクは外部攻撃だけではない。社内AIツールに付与されたアクセス権限そのものが懸念されている。

IPA「情報セキュリティ10大脅威2026」でAIが初の3位

IPA(情報処理推進機構)が発表した「情報セキュリティ10大脅威2026」で、「AIの利用をめぐるサイバーリスク」が組織向け脅威として初登場し3位にランクインした。ランサムウェアやサプライチェーン攻撃に次ぐ位置づけだ。

AIファースト企業は復旧に80日余分にかかる

Fastlyの「Global Security Research Report」によると、AIを主要プロセスに統合している「AIファースト企業」は、サイバーセキュリティインシデントからの完全復旧に平均80日長くかかっている(約7ヶ月 vs 非AIファースト企業)。経済的損失は135%以上多い。さらに、AIファースト企業の44%が「直近のセキュリティインシデントでAIが直接悪用された」と回答している(非AIファースト企業はわずか6%)。

企業の90%がAI時代のセキュリティに未対応

Accentureの「State of Cybersecurity Resilience 2025」レポートによると、グローバルで企業の90%がAI駆動のサイバー攻撃への対策が不十分と認識している。生成AI活用に関する明確なポリシーと研修を導入している組織はわずか22%にとどまる。アジア太平洋地域に限れば、71%の組織が防御不足により深刻な運用・財務リスクに直面している。

つまり、日本企業は「リスクは認識しているが、対策は打てていない」という最も危険な状態にある。

よくある誤解を正す

誤解1:「SaaS版AIを使っていれば安全」

ChatGPTやCopilotのSaaS版はベンダーがセキュリティを担保するから安全——これは半分正しく、半分間違っている。EchoLeakの事例が示すように、SaaS版でもRAG経由のプロンプトインジェクションは防げない。さらに、SaaS版AIに社内データを接続した瞬間、責任の所在はグレーゾーンに入る。Gartnerが予測する「AIセキュリティプラットフォーム」は、SaaS版と自社構築の両方をカバーする必要があるとしている。

誤解2:「ファイアウォールとEDRで守れる」

従来のネットワーク防御やエンドポイント検知では、AIアプリの脆弱性は検出できない。プロンプトインジェクションはHTTPリクエストとして「正常」に見えるし、AIが出力する不正な情報はマルウェアではない。新しい防御レイヤーが必要だ。

誤解3:「AIセキュリティは情シス部門の仕事」

Gartnerの予測が示唆するのは、AIセキュリティは「技術の問題」ではなく「ガバナンスの問題」だということ。IT部門の33%の工数が「AIデータ負債」の修復に費やされるなら、それは経営課題だ。CISOだけでなく、経営層が関与すべきテーマになる。

誤解4:「うちはまだAIを本格導入していないから大丈夫」

NRIセキュアの「企業におけるサイバーセキュリティ実態調査2025」によると、日本企業の生成AI利用率はすでに83.2%に達している(前年度65.3%から急増)。問題は、IT部門が把握していない「シャドーAI」——従業員が勝手に使っている生成AIツール——が存在することだ。あなたの会社でも、気づかないうちにAIセキュリティリスクが拡大している可能性がある。

Gartner予測の「もう一つの爆弾」——AIコンプライアンス問題

見落としがちだが、企業にとってむしろ怖いのはコンプライアンス関連の予測だ。

「2027年末までに、手動のAIコンプライアンスプロセスが、規制対象企業の75%をグローバル売上高の5%超の罰金リスクに晒す」

EU AI ActやISO/IEC 42001など、AI固有の規制が各国で整備されつつある。日本でもAI事業者ガイドラインの策定が進んでいる。これらの規制に手作業(スプレッドシート管理、都度のエビデンス収集、手動承認)で対応しようとすると、規制変更に追いつけず、結果として罰金リスクが生じる。

Gartnerはこの対策として、「サイバーガバナンスリスク&コンプライアンス(GRC)の確立と、テクノロジーによるコンプライアンスの自動化」を推奨している。

「AIデータ負債」という見えないコスト

もう一つ経営者が見逃せないのが、「IT業務の33%がAIデータ負債の修復に費やされる」という予測だ。

「AIデータ負債」とは何か。ほとんどの組織のデータは「AI-ready」ではない。ファイルサーバーに散在する非構造化データ、SaaSプラットフォームに分散した情報、レガシーシステムに眠るデータ——これらはデータの分類もアクセス制御も不十分なまま放置されている。

AIが社内データにアクセスする機能を持った瞬間、これらのデータガバナンスの欠陥が一気に露呈する。AIが意図せず機密データを参照し、それを回答に含めてしまう。データの出自(プロベナンス)が不明なため、AIの出力を検証できない。こうした「技術的負債」のAI版が、今後のIT部門の工数を大きく圧迫する。

結局、何をすればいいのか

Gartnerの6つの予測を踏まえ、日本企業の経営者・セキュリティ責任者が今週から着手すべきことを整理する。

今日やること:自社AI資産の棚卸し

まず、自社でどんなAIアプリケーションが稼働しているかを完全に把握する。IT部門が構築したものだけでなく、各部署が独自に導入したAIツールも含める。「シャドーAI」の発見が最優先だ。以下の質問をIT部門と各事業部に投げるだけで、かなりの全体像が見えてくる。

  • ChatGPT / Copilot / Gemini等のSaaS版AIに社内データを接続しているか?
  • 自社でLLMを使ったアプリケーションを構築・運用しているか?
  • AIツールに付与されているアクセス権限(データベース、ファイルサーバー、API)は何か?
  • AIアプリに対するセキュリティテスト(プロンプトインジェクション耐性等)は実施済みか?

今週中にやること:インシデント対応プロセスの策定

Gartnerが指摘する最大の問題は「AI関連インシデントの対応手順がない」こと。既存のインシデント対応計画に、AI固有のシナリオを追加する。

  • AIが機密データを不正に出力した場合のエスカレーションフロー
  • プロンプトインジェクション攻撃を検知した場合のシステム隔離手順
  • AIモデルの出力品質が急変した場合の原因切り分け手順(セキュリティ事故 vs モデルバグ vs データ品質)

今月中にやること:AI利用ガイドラインの策定 or 見直し

グローバルで78%の企業がまだ明確なAI利用ポリシーを持っていない(Accenture調査)。最低限、以下を定める。

  • AIに入力してはいけないデータの定義(個人情報、契約金額、ソースコード等)
  • AI出力の利用前に人間が確認すべき条件
  • 自社構築AIのセキュリティレビュー義務化(本番デプロイ前の必須チェック)
  • インシデント発生時の報告ルート

今四半期中にやること:AIセキュリティプラットフォームの評価

Gartnerは「2028年までに50%超の企業がAIセキュリティプラットフォームを導入する」と予測している。早期に導入した企業が競争優位を得る領域だ。評価のポイントは以下の通り。

  • SaaS版AI(ChatGPT、Copilot等)と自社構築AIの両方をカバーできるか
  • プロンプトインジェクション攻撃の検知・ブロック機能があるか
  • AIの入出力をリアルタイムで監視・ログ記録できるか
  • ポリシー違反(機密データの入力等)を自動で検知・通知できるか

Gartner予測の時系列まとめ

最後に、6つの予測を時系列で整理しておく。自社の中期計画に組み込む際の参考にしてほしい。

時期予測対策の方向性
2027年手動AIコンプライアンスで75%が罰金リスクGRCツール導入、コンプライアンス自動化
2027年30%がクラウドセキュリティの主権を要求ベンダー選定基準の見直し、データ所在地の確認
2028年インシデント対応の50%がAIアプリ起因AI専用インシデント対応プロセスの策定
2028年50%超がAIセキュリティPFを導入プラットフォーム評価・PoC開始
2028年エンタープライズ侵害の25%がAIエージェント由来エージェントの権限管理強化
2028年70%のCISOがID可視化を活用IAMツールの統合、マシンID管理
2030年IT業務の33%がAIデータ負債修復データガバナンス整備、分類・アクセス制御

まとめ

Gartnerの予測は「AIを使うな」というメッセージではない。AIを使うことが前提の世界で、セキュリティの在り方を根本から変える必要がある、という警告だ。

正直、筆者はこの予測を聞いて「2028年までに50%」は控えめな見積もりだと感じた。マッキンゼーの社内AI「Lilli」がハッキングされた事件(4,650万件のチャットメッセージに不正アクセス)を考えれば、すでにAIアプリ起因のインシデントは加速度的に増えている。

グローバルで企業の90%が対策不十分と認識しながら、ポリシーを策定している企業は22%——このギャップを埋められるかどうかが、2028年に明暗を分ける。

あわせて読みたい:


参考・出典


ご質問・ご相談は お問い合わせフォーム からお気軽にどうぞ。

この記事はUravation編集部がお届けしました。

佐藤傑
この記事を書いた人 佐藤傑

株式会社Uravation代表取締役。早稲田大学法学部在学中に生成AIの可能性に魅了され、X(旧Twitter)で活用法を発信(@SuguruKun_ai、フォロワー10万人超)。100社以上の企業向けAI研修・導入支援を展開。著書累計3万部突破。SoftBank IT連載7回執筆(NewsPicks最大1,125ピックス)。

この記事をシェア

この記事の内容、自社でも実践しませんか?

100社以上の研修実績をもとに、貴社に最適なAI活用プランをご提案します。
30分の無料相談で、まずは課題を整理しましょう。

✓ 1営業日以内に返信 ✓ 営業電話なし ✓ 助成金対応可
30分 無料相談を予約する FREE資料ダウンロード

contact お問い合わせ

生成AI研修や開発のご依頼、お見積りなど、
お気軽にご相談ください。

Claude Code 個別指導(1対1・12セッション)をご希望の方はこちらから別途お申し込みください

30分 無料相談 資料DL