守るほど消える？CloudflareのAIクローラーブロックがChatGPT・Perplexityの引用に与える影響

判断の分かれ目は「どの層で・どのクローラーを止めるか」の1点に尽きる。CloudflareでAIボットを一括ブロックすると、学習用クローラー（GPTBotなど）と同時に、ChatGPT検索の表示に使われるOAI-SearchBotやPerplexityの索引用PerplexityBotまで止まり、AI検索の回答であなたのサイトが参照される経路そのものが細る。逆に、クローラー別に「検索・引用系は許可、学習系はブロック」と分ければ、コンテンツの無断学習を抑えながらAI検索露出の経路は残せる。2026年8月現在、Cloudflareはこの分離を前提にした管理画面（AI Crawl Control）と3分類ポリシー（Search / Agent / Training）を全プランに提供しており、さらに2026年9月15日からは新規ドメイン向けデフォルト設定が変わる。本稿はこの設定がAI検索の引用に与える影響と、「守りたいがAI検索には出たい」場合の具体的な設定パターン、自社が誤ブロックしていないかをアクセスログで確認する手順を扱う。

CloudflareのAIクローラーブロックとは：60秒でわかる定義

CloudflareのAIクローラーブロックとは、CDN/WAF事業者であるCloudflareがエッジ（サーバーの手前）でAI関連クローラーのリクエストを検知し、サイト側の設定に応じて許可・ブロック・課金（Pay Per Crawl、プライベートベータ）を適用する機能群を指す。中核となる製品は「AI Crawl Control」（旧称: AI Audit）で、全プラン（Freeを含む）で利用できる。robots.txtが「クローラーへのお願い（拒否の意思表示）」であるのに対し、Cloudflareのブロックは「ネットワーク層での強制遮断」であり、クローラーが従うかどうかに関係なくリクエスト自体を403などで返す。この強制力の強さゆえに、設定を誤るとAI検索の引用経路まで物理的に断つことになる。

この機能の歴史は段階的で、発表日ベースで整理すると次のとおり。

• 2024年7月3日: ワンクリックの「Block AI bots」（AI Scrapers and Crawlers）を全プランに提供開始（Cloudflare公式ブログ「Declare your AIndependence」）
• 2025年7月: 新規ドメインに対してAIクローラーをデフォルトでブロックする方針へ転換
• 2026年7月1日: AIボットを「Search / Agent / Training」の3分類で個別制御できる新ポリシーを発表（公式ブログ「Your site, your rules」・公式Changelog）
• 2026年9月15日: 新規オンボードドメインに新デフォルト（広告表示ページでTraining/Agentをブロック、Searchは許可）を適用開始

つまり「Cloudflareを使っているだけで、いつの間にかAIクローラーが止まっている」状況は today 十分に起こり得る。特に2025年7月以降にCloudflareへ追加したドメインは、自分で設定した覚えがなくてもブロックが有効になっている可能性があり、後述のログ確認が必須になる。

2026年8月時点の仕様：3分類と9月15日のデフォルト変更

Cloudflareが2026年7月1日に発表した3分類は、AIクローラーの「目的」でポリシーを分ける考え方だ（各定義は公式ブログの記述に基づく）。

• Search: コンテンツを収集・索引し、後で質問に答えるために使う挙動。参照トラフィックなどの見返りが期待できる区分
• Agent: 人の指示でリアルタイムに動く自動アクセス。チャットの取得ボットやブラウザ操作エージェントなど
• Training: モデルの学習・ファインチューニングのためにコンテンツを取得するクローラー

設定画面は、Cloudflareダッシュボードで対象ゾーンを選び「AI Crawl Control」から開く。Securityタブにクローラーの一覧表（名前・運営者・カテゴリ・リクエスト数・robots.txt違反・アクション）が表示され、クローラーごとにAllow / Block /（ベータの）Chargeを選べる。ブロック時の応答コードは設定タブで403 Forbiddenか402 Payment Requiredを選択できる。従来のワンクリック型トグル（Security > Bots内の「AI Scrapers and Crawlers」）も存在するが、これは一括制御であり、引用経路とのトレードオフを細かく調整できない。

2026年9月15日以降の新デフォルトで押さえるべき点は3つある。

1. 対象はCloudflareに新規オンボードするドメイン。既存ゾーンは事前にセキュリティ設定からオプトアウト（現状維持の選択）が可能と公式Changelogに明記されている
2. 新デフォルトの中身は「広告が表示されるページでTrainingとAgentをブロック、Searchは許可」。広告表示は「人間の読者向けコンテンツ」のシグナルとみなすというのがCloudflareの説明
3. 最重要の注意: 複数目的を1つのUAで兼ねるクローラーには「最も制限の強いルール」が適用される。公式ブログはGooglebotを名指しし、GooglebotはSearchとTrainingを兼ねるため、Trainingをブロックした顧客のページではGooglebotもブロックされ得ると明記している。AI学習を防ぐつもりの設定が、通常のGoogle検索のクロールまで止める可能性があるということだ

なお、この分類やデフォルトの適用範囲は今後も更新され得る。設定画面の文言・対象は必ず自社ダッシュボードの現行表示で確認してほしい（本稿の画面記述は2026年8月時点の公式ドキュメントに基づく）。

ブロックするとAI検索の引用はどこから消えるか

「AIクローラーをブロックするとAI検索に出なくなる」という雑な理解では設定を誤る。実際は、AI検索の引用は複数の経路（クローラー）で成立しており、どれを止めたかで消え方が違う。主要な経路を運営者の公式ドキュメントで確認すると次のとおり（OpenAIは開発者向けドキュメント「Bots」、Perplexityは公式ドキュメント「Perplexity Crawlers」、いずれも2026年8月閲覧）。

この表から導ける判断基準は明快だ。「学習系（GPTBotなど）を止めても、公式説明上はAI検索の引用経路は残る。検索・引用系（OAI-SearchBot、PerplexityBot）やユーザー取得系（ChatGPT-User、Perplexity-User）を止めると、引用の成立そのものが崩れる」。一括ブロックはこの区別を無視して全経路を止めるため、「守り」の代償として引用露出を丸ごと失う設定になる。

もう1つ、遮断の実効性に関する重要な事実がある。2025年8月4日、Cloudflareは「Perplexityが宣言外のステルスクローラーでno-crawl指示を回避している」とする調査を公式ブログで公表し、Perplexityを検証済みボットのリストから削除して遮断対象にした。つまり、（1）robots.txtだけでは従わないアクセスを止められない、（2）Cloudflareのようなネットワーク層の遮断はUA偽装対策まで含めて機能し得る、（3）その分だけ「引用してほしいクローラーまで巻き込む」誤爆リスクも大きい──という三点セットで理解しておく必要がある。

robots.txt層とCloudflare層は別レイヤー：どちらで制御するかの整理

AIクローラー制御には2つの層があり、混同すると「robots.txtで許可したのに来ない」「ブロックしたはずなのに来ている」という食い違いが起きる。

robots.txt層は「意思表示」の層だ。行儀の良いクローラー（GPTBot、OAI-SearchBot、PerplexityBotなど）は従うが、従わないアクセスは素通りする。User-agent単位の細かい許可・拒否を宣言でき、書き方の詳細はrobots.txtのAIクローラー設定で解説している。一方、Cloudflare層（CDN/WAF）は「強制」の層で、リクエストがサーバーに届く前に遮断する。robots.txtを無視するクローラーにも効く反面、設定ミスの影響も即時かつ全面的だ。

実務での使い分けは「宣言はrobots.txt、強制はCloudflare、両者の内容を一致させる」が原則になる。例えばrobots.txtでOAI-SearchBotをAllowと書きながらCloudflare側で一括ブロックしていれば、実際の挙動はブロックであり、robots.txtの記述は空文になる。CloudflareのAI Crawl Controlにはmanaged robots.txt（Cloudflareが管理するrobots.txtの自動生成）もあり、2026年7月の更新でContent-Signal（search=yes、ai-train=noに加えuse=referenceなど、用途別の意思表示パラメータ）に対応した。自前のrobots.txtとmanaged robots.txtのどちらを正とするかも、この時点で決めておきたい。

「守りたいがAI検索には出たい」場合の設定パターン

多くの企業サイト・メディアの本音は「モデル学習への無断利用は避けたい。でもChatGPTやPerplexityの回答には出典として出たい」だろう。この要件はクローラー別設定で実現に近づけられる。目的別に3パターンを示す（クローラーの役割は前掲の公式説明に基づく。将来の分類変更があり得るため、設定時は必ずダッシュボードの現行カテゴリ表示を確認すること)。

パターン選定で見落としがちな注意点を2つ挙げる。第一に、Trainingの一括ブロックはGooglebotを巻き込み得る（前述の公式ブログの明記事項）。Google検索経由の流入があるサイトでパターン3や広義のTrainingブロックを選ぶ場合、Googlebotが例外扱いになっているかを設定画面のクローラー一覧で個別確認するべきだ。第二に、Agent区分の遮断はChatGPT-UserやPerplexity-Userのようなユーザー起点取得を止める。ユーザーが回答の場であなたのページを深掘りしようとした瞬間に403が返る、という体験になることは理解した上で選びたい。

そもそも引用される前提として、クローラーが到達した先のコンテンツが引用に足る構造になっている必要がある。その設計はAI検索で引用される記事の条件とPerplexityに引用される情報源設計を併せて参照してほしい。

自社が誤ブロックしていないかの確認手順

「設定した覚えがない」サイトほど危ない。2025年7月以降の新規ドメインはデフォルトブロックの対象になっている可能性があり、Web制作会社がセキュリティ強化の一環で「Block AI bots」を有効化しているケースもある。以下の手順で現状を確認する。

手順1: Cloudflareダッシュボードで設定の現状を見る

対象ゾーンのAI Crawl Control（および従来のSecurity > Bots）を開き、（1）一括トグルの状態、（2）クローラー別のAllow/Block、（3）2026年9月15日デフォルト変更に関する通知・オプトアウト状態、の3点を記録する。クローラー一覧にはリクエスト数とブロック数が表示されるため、「OAI-SearchBotのリクエストが継続的にブロックされている」といった事実がここで直接見える。

手順2: 外形からクローラーUAで実アクセスして応答を確認する

自分のサイトに対して、主要クローラーのUAを名乗ってステータスコードを確認する。以下は省略なしのコピペ可能な確認コマンド（URLは自社トップページ等に置き換える）。

<pre><code># ChatGPT検索の索引経路（止まっていたら引用露出に直撃） curl -s -o /dev/null -w "OAI-SearchBot: %{http_code}\n" \ -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.4; +https://openai.com/searchbot" \ https://example.com/

curl -s -o /dev/null -w "ChatGPT-User: %{http_code}\n" \ -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; ChatGPT-User/1.0; +https://openai.com/bot" \ https://example.com/

curl -s -o /dev/null -w "GPTBot: %{http_code}\n" \ -A "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot" \ https://example.com/

curl -s -o /dev/null -w "PerplexityBot: %{http_code}\n" \ -A "Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)" \ https://example.com/</code></pre>

判定の目安: 引用経路（OAI-SearchBot / PerplexityBot / ChatGPT-User）が403や402を返し、かつAI検索露出を狙うサイトなら、それは誤ブロックの疑いが濃い。ただしCloudflareはUAだけでなくIPやフィンガープリントでボット検証をするため、curlでの偽装アクセスが本物のクローラーと同じ扱いになるとは限らない。外形確認は一次スクリーニングと位置づけ、確定判断は手順1のダッシュボード表示と手順3のログで行う。

手順3: 実ログでUA別の到達状況を確認する

サーバー側のアクセスログ（Cloudflare配下ならエッジで遮断されたリクエストはオリジンに届かない点に注意）と、Cloudflare側の分析（AI Crawl Controlのメトリクス、あるいはLogs/Security分析）を突き合わせる。オリジンのログで確認する場合の例:

<pre><code># 直近のアクセスログからAI系UAの到達を確認（Nginx/Apache共通の考え方） grep -iE "GPTBot|OAI-SearchBot|ChatGPT-User|PerplexityBot|Perplexity-User|ClaudeBot|Google-Extended" \ /var/log/nginx/access.log | awk '{print $1, $9, $12}' | sort | uniq -c | sort -rn | head -30</code></pre>

「オリジンのログにOAI-SearchBotが一切現れない」かつ「Cloudflare側でブロックカウントが増えている」なら、エッジ遮断が起きている。ログの読み方と継続的なクロール観測の組み立てはAIクローラーログ分析で詳述しており、当メディア自身のサーバーで観測した実ログの傾向はAIクローラー実測ログレポートにまとめている。

確認チェックリスト

ありがちな失敗例

失敗例1: セキュリティ強化の名目で「Block AI bots」を全ゾーンに一括適用。数週間後、ChatGPTで自社名を聞いても競合サイトばかりが出典に並ぶようになった──という相談パターン。エッジ遮断はオリジンログに痕跡が残らないため、サイト側からは「何も変えていないのに」と見える。ChatGPT側で自社がどう説明されているかの確認方法はChatGPTに自社情報を正しく出す方法を参照。

失敗例2: robots.txtでOAI-SearchBotをAllowにして満足し、Cloudflare側の一括ブロックを見落とす。宣言（robots.txt）と強制（WAF）の層が矛盾すると、常に強制側が勝つ。

失敗例3: 「AI学習を防ぎたい」意図でTraining区分を広くブロックし、Search/Trainingを兼ねるGooglebotまで遮断してGoogle検索のクロールに影響が出る。公式ブログが明示的に警告しているケースであり、Trainingブロック時はGooglebotの扱いを必ず個別確認する。

失敗例4: 効果測定をしないまま設定変更する。ブロックの開放・強化はAI経由の流入・引用の変化として現れ得るが、計測の仕込みがなければ検証できない。変更前にGA4でのAI参照元の計測とGSCの確認手順（GSCのAI Overviewインプレッションの読み方）を整えてから触るのが順序として正しい。

よくある質問

CloudflareでAIクローラーをブロックすると、既にAIが覚えている自社情報も消えますか

消えない。ブロックは「今後のクロール」を止めるだけで、既に学習済みのモデル内部の知識や、既存の索引が即時に消えるわけではない。一方、ChatGPT検索やPerplexityのようにリアルタイム取得で回答を組み立てる経路は、ブロック後の取得失敗として比較的早く影響が出得る。どちらも「いつ消える・いつ出る」を保証できるものではなく、実測で追うしかない。

無料プランでもクローラー別の制御はできますか

できる。AI Crawl Control（旧AI Audit）は2026年8月時点で全プラン対象と公式ドキュメントに明記されており、クローラー単位のAllow/Blockは無料プランでも設定できる。Pay Per Crawl（クロール課金）はプライベートベータで、利用には申請が必要。

robots.txtとCloudflareの設定、どちらが優先されますか

実効的にはCloudflare（ネットワーク層）が常に先に働く。robots.txtはサーバーに到達したクローラーが読む「お願い」であり、エッジで403を返されたクローラーはrobots.txtに到達すらしない。だからこそ両者の内容を一致させることが運用の基本になる。

Perplexity-Userはrobots.txtを無視するそうですが、Cloudflareなら止められますか

Perplexityの公式ドキュメントは、Perplexity-Userについて「ユーザーの指示による取得のため、一般にrobots.txtを無視する」と明記している。ネットワーク層で遮断するCloudflareならこの種のアクセスも止め得るし、実際2025年8月にはCloudflareがPerplexityの宣言外クローラーを検証済みボットから外して遮断した経緯がある。ただし止めるということは、Perplexityの回答内であなたのページが読まれ引用される機会も止めるということであり、「守れるか」と「守るべきか」は別の問いだ。

2026年9月15日以降、既存サイトの設定も勝手に変わりますか

公式Changelog（2026年7月1日付）の記載では、新デフォルトの対象は「Cloudflareに新規オンボードするドメイン」で、既存顧客はセキュリティ設定画面からいつでもオプトアウトできるとされている。ただし適用範囲の詳細は今後更新される可能性があるため、自社アカウントに届く通知とダッシュボードの表示を正として確認してほしい。

最後に確認すべきこと

CloudflareのAIクローラーブロックは、robots.txtと違って「強制力がある」からこそ、一括で使うとAI検索の引用経路まで確実に断つ。確認の要点を絞ると次の3つになる。

1. 現状把握: 自社ゾーンで一括ブロック・クローラー別ブロックがどうなっているか、ダッシュボードとオリジンログの両方で確認したか
2. 分離: 学習系（GPTBotなど）と引用系（OAI-SearchBot / PerplexityBot / ユーザー取得系）を区別した設定になっているか。Trainingブロックの巻き添えでGooglebotが止まっていないか
3. 2026年9月15日対応: 新デフォルトの対象かどうかを判断し、必要ならオプトアウトまたは意図的な採用を決めたか

「AIに守りを固めたつもりが、AI検索での存在感ごと消していた」は、設定画面を数分見るだけで防げる事故だ。自社サイトがAIクローラーにどう扱われているか、ChatGPTやPerplexityで実際にどう引用されているかを一度棚卸ししたい場合は、UravationのLLMO診断（AI検索診断）で、クローラー到達状況の確認からAI検索での見え方の点検までを一括で行える。設定を触る前の現状把握としても活用してほしい。