生成AIの研修・コンサルティング・開発を行う株式会社Uravation（本社：東京都文京区、代表取締役：佐藤 傑）は、日経平均株価の構成銘柄225社の公式サイトについて、AIが読むためのサイト案内ファイル「llms.txt」の設置状況と、「robots.txt」でのAIクローラーの扱いを2026年10月23日に調査しました。llms.txtを置いているのは、応答のあった180社のうち9社（5.0%）でした。robots.txtでAIクローラーの名前を書いているのは、応答のあった184社のうち9社（4.9%）で、残りの175社（95.1%）には記載がありませんでした。ChatGPT・Claude・Perplexityの検索用のボットを全面拒否している社はありませんでした。社名ごとの結果は公表しません。
調査の概要
- 対象：日経平均株価の構成銘柄225社（日経平均プロフィル「構成銘柄一覧」の2026年10月23日更新分を同日に取得）
- 公式サイト：Wikidataの「公式ウェブサイト」の項目を銘柄コードで引き、無い社は社名で検索。複数ある社は日本語の会社サイトを優先して1社1サイトに決めました
- 取得したもの：各社の公式サイトの直下にある /robots.txt と /llms.txt
- 方法：2026年10月23日に、当社のプログラムで1社ずつ順番に、1ファイルにつき1回だけ取得（1.5秒の間隔）。当社の調査と分かるユーザーエージェント名を名乗り、ブラウザを装っていません
- 取得できなかった社：アクセス拒否・一時的な応答不能・接続不可・時間切れは「取得できず」とし、分母から外しました（robots.txtは41社、llms.txtは45社）
- 集計：llms.txtは、HTTP 200でテキストが返ったものを「設置あり」としました。robots.txtはUser-agentの群に分け、16種類のAIクローラー名（GPTBot、OAI-SearchBot、ChatGPT-User、ClaudeBot、Claude-SearchBot、Claude-User、PerplexityBot、Perplexity-User、Google-Extended、CCBot、Bytespider、Amazonbot、meta-externalagentなど）について「全面拒否（Disallow: /）」「一部拒否」「名指しで許可」「記載なし」に分けました
結果1：llms.txtを置いているのは9社（5.0%）
llms.txtに応答のあった180社のうち、設置していたのは9社（5.0%）でした。153社は404（ファイルなし）、18社は別のHTMLページが返りました。設置していた9社の業種（日経平均の業種分類）は、電気機器2社、情報通信2社、精密機器2社、自動車1社、小売業1社、サービス1社です。
結果2：robots.txtでAIクローラーに触れているのは9社（4.9%）
robots.txtに応答のあった184社のうち、テキストのrobots.txtが返ったのは102社（55.4%）で、82社（44.6%）はrobots.txt自体を置いていません（404が64社、別のHTMLページが18社）。
16種類のAIクローラー名のいずれかをrobots.txtに書いていたのは9社（4.9%）で、いちばん厳しい扱いで分けると、名指しで許可だけを書いた社が2社、一部拒否が3社、全面拒否が4社でした。残りの175社（95.1%）には、AIクローラーの名前が出てきません。名前の出てこないクローラーには「」（すべてのクローラー）向けの規則が適用され、「」を全面拒否している社は0社でした。
結果3：ボット別の扱い（応答のあった184社）
- 学習用：GPTBot（OpenAI）は全面拒否1社・名指しで許可4社。ClaudeBot（Anthropic）、Google-Extended（Google）、CCBot（Common Crawl）は各全面拒否1社・一部拒否1社
- AI検索用：OAI-SearchBot（ChatGPT検索）は一部拒否2社、Claude-SearchBot（Claude）とPerplexityBot（Perplexity）は一部拒否1社で、全面拒否はいずれも0社。利用者の操作で動くChatGPT-User・Claude-User・Perplexity-Userも全面拒否は0社
- そのほか：Bytespiderの全面拒否が3社、Amazonbotとmeta-externalagentが各2社でした
当社の読み方
AI検索の回答に自社の情報を正しく引用してもらうには、まず、AI検索用のクローラーがサイトを読める状態である必要があります。今回の結果では、大企業の公式サイトの9割以上が既定の設定のまま読める状態でした。一方で、AIに向けて「このサイトは何者で、どのページを読めばよいか」を整えている社はまだ少数です。
当社が会社サイトで先に確かめることは2点です。1点目は、学習用のクローラーを止める場合でも、検索用のクローラー（OAI-SearchBot、Claude-SearchBot、PerplexityBot）まで止めていないかを確認すること。2点目は、会社の説明・サービス・料金・問い合わせ先が誰の質問にどのページで答えるのかを整理し、その結果をllms.txtに書くことです。
調査の限界
- 取得できなかった社（robots.txtで41社、llms.txtで45社）の状況は分かりません。取得は各ファイル1回だけで、2026年10月23日時点の状態です
- 公式サイトは1社1つに決めており、別ドメインの製品サイトやサイト直下以外のllms.txtは対象外です。「全面拒否」はDisallow: /の有無で分けています