AIチェッカー実測5,842件｜「精度◯%」と言えない理由

結論: 自社の無料AIチェッカー「AIチェッカー」に寄せられた5,842件の判定ログを分析したところ、「AI濃厚(90%以上)」「人間濃厚(9%以下)」と出たのはそれぞれわずか0.1%で、判定の大半は40〜89%の中間帯に集中していました。つまり実運用のAI判定は、白黒をはっきり分けるものではなく、グラデーションの中で確率を出しているだけです。

この記事の要点:

• 要点1: 5,842件のうち「AI濃厚」「人間濃厚」の両極端はそれぞれ0.1%(合計7件)のみ。約7割は「40〜89%」の判別が難しい帯に分布している
• 要点2: このデータは「AIチェッカーの精度」を証明するものではない。正解ラベル(その文章が実際にAI製かどうか)を持たないため、示せるのは「判定結果の分布」まで
• 要点3: 判定結果を人の断罪や合否判定の唯一の根拠にしてはいけない。大学・企業・採用の現場では「疑いのきっかけ」までの使い方にとどめる

対象読者: AIチェッカーの数字をレポート・レポート指導・採用選考・社内文書チェックで使おうとしている教員・人事・管理部門の担当者

読了後にできること: 「AI率◯%」という数字を見たときに、それが何を意味していて何を意味していないかを、社内で説明できるようになります

「このレポート、AI率78%って出たんですけど……これって『AIで書いた』ってことですよね?」

研修先の管理職の方から、こういう質問をされることが最近増えました。手元のスマホでAIチェッカーに文章を貼り付け、出てきた数字だけを見て、それを事実として扱おうとする。気持ちはよくわかります。数字は分かりやすいし、判断の根拠にしたくなる。でも、その数字が実際に何を測っているのかを説明できる人は、意外と少ないです。

私たちは2026年7月から、無料のAIチェッカーというツールを公開しています。登録不要で誰でも使えるため、公開から9日間で5,842件の判定が行われました。この記事では、その判定ログを集計しただけの「一次データ」を公開します。個々の文章の中身や、誰が使ったかは一切保存していません。集計値だけです。

この記事で一番伝えたいのは、派手な精度の数字ではありません。むしろ逆で、「精度」という言葉を安易に使えない理由と、それでも判定結果とどう付き合えばいいのかという実務的な結論です。今日から、AIチェッカーの数字を見たときの受け止め方が変わるはずです。

【結論】5,842件の判定データから分かった3つの事実

まず、今回の分析の骨子を先に出します。詳しい分布と理由は、このあと順番に解説します。

まず言葉の定義を整理しておきます。この記事で扱う「AI確率」は、AIチェッカーが1つの文章に対して出力する「AIが書いた可能性が高いと推定される度合い」のスコアです。0%に近いほど人間が書いた可能性が高いと推定され、100%に近いほどAIが書いた可能性が高いと推定されます。これは断定ではなく、あくまで推定値です。

5,842件の分布データ｜AI確率・文字数・信頼度

2026年7月17日〜25日(稼働9日間)の判定ログを、当社エンジニアが集計スクリプトで集計しました。個票(判定対象の文章そのもの)やIPアドレスの生データは扱わず、集計済みの数値のみを取得しています。

サマリー

AI確率帯ごとの分布

ここが今回のデータで最も重要な表です。5段階の帯に分けると、次のようになりました。

「70〜89%」と「40〜69%」を合わせた「40〜89%」の帯だけで、全体の67.3%を占めています。逆に、はっきり「濃厚」と呼べる両端(90%以上・9%以下)は、合わせても0.2%、件数にして7件しかありません。

文字数帯ごとの分布

1,000〜3,999字の中〜長文が全体の6割超を占めており、レポートや報告書クラスの分量で使われていることがうかがえます。

信頼度ラベルの分布

AIチェッカーはAI確率のスコアと同時に、そのスコア自体をどれだけ確信しているかという「信頼度」も出力します。ここでも「high」は12.8%にとどまり、大半が「medium」です。判定エンジン自身が「これは確信度が高い」と言い切れるケースは、全体の1割強しかないということです。

なぜ「AI濃厚」「人間濃厚」はそれぞれ0.1%しかないのか

この結果を見て「じゃあAIチェッカーは仕事してないのでは」と思うかもしれません。ですが、これは設計上、ある程度自然な結果です。理由は3つあります。

理由1：AI確率は「らしさ」の連続値であって、フラグではない

AIチェッカーの多くは、文章の単語の出現パターン、文の長さのばらつき、言い回しの自然さなどを機械学習モデルでスコアリングし、0〜100%の連続値として出力する設計です。もともと「AIか人間か」の2択判定を目指したツールではなく、確率のグラデーションを出す仕組みになっています。連続値である以上、極端な値(0%付近・100%付近)より、中間の値のほうが統計的に出やすくなります。

理由2：現実の文章は「純粋なAI」でも「純粋な人間」でもないことが多い

実際に判定に持ち込まれる文章の多くは、次のようなケースだと考えられます。

• AIが下書きした文章を、人間が手直しして提出したもの
• 人間が書いた文章を、AIで語尾や表現だけ整えたもの
• 人間の文章だが、定型的な言い回しが多く機械的に見えるもの(議事録、規約文など)

こうした「混在した文章」は、AI確率のスコアが中間に寄りやすくなります。5,842件のうち67.3%が「40〜89%」に集まっているのは、判定対象の文章そのものが、そもそも「AI度合いがはっきり分かれていない」ものだった可能性が高いということです。

理由3：判定エンジンは「疑わしきは断定しない」設計になっている

信頼度ラベルで「high」がわずか12.8%だったことからも分かる通り、エンジン自身が確信を持てないケースでは、スコアを極端な値に振り切らない設計になっています。これは誤判定を防ぐための保守的な挙動であり、欠陥ではありません。

「精度」を断定できない理由｜正解ラベル問題

ここが、この記事で最も誠実に書きたい部分です。ここまでの分布データを見ると「AIチェッカーの精度は◯%だった」と言いたくなりますが、それは正確な表現ではありません。理由を説明します。

「精度」を測るには、正解が必要

ツールの「精度」を測定するには、本来、次のような手順が必要です。

1. 「これは人間が書いた」「これはAIが書いた」と確定している文章のセットを用意する(正解ラベル)
2. そのセットをAIチェッカーに判定させる
3. 正解ラベルと判定結果を突き合わせ、一致率を計算する

今回私たちが持っているのは、ユーザーがツールに貼り付けた5,842件の文章に対する「判定結果」だけです。それぞれの文章が実際に人間が書いたものなのか、AIが書いたものなのか、あるいはその中間なのかという「正解」は、私たちの手元にはありません。プライバシー保護のため文章自体も保存していないので、後から検証することもできません。

だから、このデータで言えることと言えないこと

また、このデータは当社ツールの無料利用者が持ち込んだ文章の集計であり、日本語文章全体を代表する無作為サンプルでもありません。レポート作成やビジネス文書のチェックに使われる比率が高いと推測され、母集団に偏りがある可能性があります。「精度78%」のような断定的な表現を見かけたら、その数字がどんな正解ラベルに基づいて算出されたものかを確認する習慣を持ってください。多くの場合、その裏付けは示されていません。

誤判定が起きやすい文章の特徴｜判別困難帯31.5%が示すこと

今回のデータで「40〜69%(判別困難帯)」に分類されるのは1,839件、全体の31.5%でした。この帯に入る文章には、実務上いくつかの共通した特徴があると考えられます。

特徴1：定型的な言い回しが多い文章

議事録、規約、マニュアル、定型フォーマットの報告書など、表現の自由度が低い文章は、人間が書いてもAIが書いても文体の差が出にくく、判定が中間に寄りやすい傾向があります。

特徴2：AIの下書きを人間が編集した文章

AIが生成した文章を人間が手直しした場合、元の文体の特徴が部分的に残りつつ、人間らしい言い回しも混ざります。この「ハイブリッド」な状態が、まさに40〜69%の帯に落ち着きやすい典型パターンです。

特徴3：文章量が短い

今回の集計では400字未満の判定が8.6%ありました。一般的に、文章が短いほど統計的な特徴を十分に拾えず、判定の確信度が下がりやすいとされています。信頼度ラベルで「low」が出るケースの多くは、短文である可能性が高いと考えられます(本集計では文字数帯と信頼度ラベルのクロス集計までは行っていません)。

【要注意】よくある誤解パターン

❌ 「AI率60%だから、6割はAIが書いた部分」
⭕ AI率60%は「文章全体が、AIが書いた文章に似た特徴を60%程度持っている」という推定値であり、文章の6割をAIが書いたという意味ではありません

❌ 「判別困難帯に入った=グレーゾーンで怪しい」
⭕ 判別困難帯は、定型文や編集済み文章など、人間が書いた真っ当な文章でも自然に入りやすい帯です。この帯にいること自体を疑いの根拠にはできません

❌ 「信頼度mediumだから、まあまあ正確」
⭕ 信頼度ラベルは「AI確率の的中率」ではなく「エンジンがそのスコアにどれだけ確信を持っているか」を示す別の指標です。medium=そこそこ正確、という意味ではありません

実務での付き合い方｜大学・企業・採用の3シーン

ここまでの分析を踏まえると、AIチェッカーの数字は「証拠」ではなく「気づきのきっかけ」として使うのが実務上の落としどころです。シーン別に整理します。

大学・教育現場

レポートのAI率が高く出たからといって、それだけを根拠に不正と断定するのは避けるべきです。正解ラベルのない推定値であることは前述の通りで、人間が書いた文章が高い値になるケースも起こり得ます。判定結果は「本人に執筆過程を確認するきっかけ」として使い、最終判断は下書き・参考文献リスト・本人へのヒアリングなど複数の証拠を組み合わせて行うのが妥当です。誤判定された際の学生側の対処法は、当メディアの大学レポートのAIチェッカー誤判定ガイドで詳しく解説しています。

企業の文書チェック

社内文書や納品物のチェックにAIチェッカーを使う場合、「AI率が高い=禁止事項に抵触」と機械的に運用すると、正当な理由でAIを併用した社員を不当に扱うリスクがあります。まず「AI利用そのものを禁止するのか、開示すれば問題ないのか」という社内ルールを先に決め、AIチェッカーはそのルール運用を補助する参考情報として位置づけるのが現実的です。

採用選考

エントリーシートや職務経歴書のAI率を選考基準にする場合も同様です。今回のデータが示す通り、判定は67%が中間帯に集まっており、白黒つけられる設計ではありません。「高いAI率=不採用」という単純な足切りは、誤判定によって優秀な候補者を不当に落とすリスクがあります。使うとしても、面接での深掘り質問のきっかけ程度にとどめるのが安全です。

いずれの場面でも共通するのは、AIチェッカーの数字を「唯一の証拠」として扱わないことです。判定ツールの仕組みと限界を理解した上で、複数の情報源と組み合わせて判断してください。なお、AIチェッカー全般の選び方や他ツールとの比較はAIチェッカーおすすめ7選比較にまとめています。

判定の仕組みそのものについては「ChatGPTを使うとバレる？検出の仕組みと限界」で解説しています。

よくある質問

Q. このデータは「AIチェッカーの精度が高い」という証明になりますか?

A. なりません。今回公開したのは判定結果の分布(集計値)であり、正解ラベルとの突き合わせを行った精度検証ではありません。記事内で繰り返し説明している通り、この点は明確に区別してください。

Q. AI確率が90%以上だった4件は何を意味しますか?

A. AIが書いた文章の特徴に強く一致するパターンだった、という推定結果です。ただし正解ラベルがないため、実際にAIが書いたものだったかどうかは検証できていません。件数としても5,842件中4件(0.1%)と極めて少数です。

Q. 他社のAIチェッカーもこの分布になりますか?

A. 分かりません。今回のデータは当社の無料AIチェッカーの判定ログに限定した集計です。判定モデル・アルゴリズムが異なれば分布も変わる可能性があります。他社ツールについての性能比較は行っていません。

Q. AIチェッカーの数字はまったく信用できないということですか?

A. そうではありません。「疑わしい文章に気づくきっかけ」としては有用です。問題は、その数字だけを唯一の証拠として断定的に扱ってしまうことです。今回のデータが示す通り、判定の大半は白黒つかない中間帯に分布しており、そもそも二択で使う設計のツールではありません。

参考・出典

• 株式会社Uravation「AIチェッカー判定統計 2026年7月」— 自社ツールAIチェッカーの判定ログ集計（参照日: 2026-07-25）
• AIチェッカーおすすめ7選比較【2026年7月】誤検知・Claude検出率を実測 — 株式会社Uravation（参照日: 2026-07-25）
• 大学レポートのAIチェッカー誤判定｜学生の証明法・教員の注意点 — 株式会社Uravation（参照日: 2026-07-25）

まとめ：今日から始める3つのアクション

1. 今日やること: 手元でAI率が話題になったら、まず「これは精度ではなく判定結果の分布」だと自分の中で区別する
2. 今週中: 社内・学内でAIチェッカーの結果を使う場面があれば、「唯一の証拠にしない」というルールを関係者と共有する
3. 今月中: レポート・文書・選考でAI利用の扱いに迷う場面が多いなら、判定ツールに頼る前に「AI利用そのものをどう扱うか」の運用ルールを先に文書化する

次回予告: 次の記事では、AIチェッカーの判定を巡って大学・企業が実際にどんな運用ルールを作っているかを、公開されている事例ベースで整理します。

著者: 佐藤傑（さとう・すぐる）
株式会社Uravation代表取締役。X（@SuguruKun_ai）フォロワー約10万人。
100社以上の企業向けAI研修・導入支援。著書『AIエージェント仕事術』（SBクリエイティブ）。
SoftBank IT連載7回執筆（NewsPicks最大1,125ピックス）。

ご質問・ご相談は お問い合わせフォーム からお気軽にどうぞ。