コンテンツへスキップ

media AI活用の最前線

ツール比較・実践ガイド

Fable 5.1ベンチマーク9指標|4モデル比較【2026年9月】

Fable 5.1ベンチマーク9指標|4モデル比較【2026年9月】

Claude Fable 5.1のベンチマークは、Anthropic公式発表の表を条件違いまで分けて数えると9行あり、そのうち大きく伸びたのは「科学研究のエージェント作業」「ビジネス業務の自動化」「ターミナル作業」の3領域です。残りの推論・コーディング系はもともと高水準で、伸び幅は数ポイントにとどまります。公式表は同じ条件でClaude Fable 5・Claude Opus 5・GPT-5.6 Solまで並んでおり、第三者のVals AIとArtificial Analysisも2026年9月2日時点で総合1位と評価しています。

この記事の要点

  • 伸びたのは3領域:Terminal-Bench-Science 0.1が24.7%→52.6%(約2.1倍)、AutomationBenchが17.1%→31.4%(約1.8倍)、Terminal-Bench 4.0が42.0%→55.8%。一方でCursorBench 3.2.0は70.5%→73.4%、ツールありのHumanity’s Last Examは63.8%→65.0%と小幅です
  • 表の下の注記を読まないと数字を読み違える:セーフガードが介入したタスクはOSWorld 2.0でFable 5.1とFable 5が0点、AutomationBenchでFable 5が0点として計上されています。つまり「17.1%→31.4%」の差には、前世代側が低く出た分が含まれます
  • 第三者評価は総合1位でも、コスト面の評価は割れている:Vals Indexは67.87%で51モデル中1位、Artificial AnalysisのIntelligence Indexも66点で192モデル中1位。ただしArtificial Analysisは出力トークンが中央値の約2倍で「同価格帯のモデルと比べて特に高価」とも記載しています

この記事の対象:モデル選定の稟議に数字を添える必要がある情報システム部門・開発責任者と、投資判断をする経営層。
今日やること:自社の主要タスクが「科学研究のエージェント作業」「業務自動化」「ターミナル作業」のどれに近いかを1行で書き出す。この3つに近いほど、5.1へ切り替える価値が大きくなります。

最終更新:2026年9月2日

「Fable 5.1って、結局どのくらい強くなったんですか?」

正直に書きます。弊社が2026年9月2日に公開した速報記事「Claude Fable 5.1とは?変更点・料金・使い方」でも、性能の節はFable 5と直接比べられる4指標に絞りました。リリース直後の記事としてはそれで足りるのですが、公開後に公式の表をもう一度開き直して、まずいなと思ったんです。公式が出している表は、条件違いを分けて数えると9行ある。しかも横にはFable 5だけでなく、Claude Opus 5とGPT-5.6 Solまで並んでいます。

さらに、表の下には注記が1段落ついています。読み飛ばすと数字の意味が変わってしまう種類の注記です。実際、公開されている日本語の解説記事をいくつか見た限り、載っているのは公式表の一部だけで、この注記まで扱っているものはほとんど見当たりませんでした。

この記事では、2026年9月2日にAnthropicの公式発表・公式モデルページ・Vals AI・Artificial Analysisの4つを実際に開いて、数値を1つずつ突き合わせた結果をそのまま置きます。公式9指標×4モデルの完全表セーフガードでスコアが低めに出る仕組み第三者2社の評価(下がった指標も含めて)、そしてその数字を自社の用途にどう翻訳して検証するかまで。数字は丸めず、公式・第三者の掲載値をそのまま書いています。

Fable 5.1のベンチマークはどこが伸びたのか(3行の要約)

細かい表に入る前に、9指標を通して見えるものを3行にします。

  1. エージェントに長く仕事をさせる領域が伸びた。科学研究のエージェント作業(Terminal-Bench-Science 0.1)は24.7%→52.6%で約2.1倍、ビジネス業務の自動化(AutomationBench)は17.1%→31.4%で約1.8倍。数字の変化率としてはここが最大です。
  2. もともと高かった領域の伸びは小さい。エージェント型コーディング(CursorBench 3.2.0)は70.5%→73.4%で2.9ポイント、ツールありの学際的推論(Humanity’s Last Exam)は63.8%→65.0%で1.2ポイント。「全部が劇的に上がった」わけではありません。
  3. Opus 5との差は指標によって逆転する。科学研究では52.6%対29.0%と大きく開く一方、コンピュータ操作(OSWorld 2.0 strict)は41.7%対39.6%で2.1ポイント差。総合指標にいたっては、後述するVals Indexで0.66ポイント差(誤差幅±1.10)まで詰まります。

つまり「Fable 5.1に替えれば全部速くなる」ではなく、「長時間・多段のエージェント作業をどれだけ持っているかで効き方が変わる」というのが、9指標をまとめて見たときの結論です。前世代であるFable 5の指標を業務に翻訳した記事はClaude Fable 5 ベンチマーク5指標を業務翻訳にまとめてあるので、世代間の見方の変化もあわせて確認できます。


Fable 5.1で大きく伸びた3領域と伸びが小幅だった領域(公式9指標より)

公式ベンチマーク9指標の完全表|Fable 5.1 / Fable 5 / Opus 5 / GPT-5.6 Sol

2026年9月1日(米国時間)のAnthropic公式発表「Introducing Claude Fable 5.1 and Claude Mythos 5.1」に掲載された表を、条件違い(partial / strict、ツールあり / なし)まで分けて全行転記します。数値はすべて公式掲載値そのままで、四捨五入や換算はしていません。

領域ベンチマーク条件Fable 5.1Fable 5Opus 5GPT-5.6 Sol
科学研究のエージェント作業Terminal-Bench-Science 0.152.6%24.7%29.0%22.4%
エージェント型コーディングTerminal-Bench 4.055.8%(Mythos 5.1は60.9%)42.0%52.3%37.3%
知識労働GDPval-AA v21853172318241711
コンピュータ操作OSWorld 2.0partial77.9%72.9%75.4%
コンピュータ操作OSWorld 2.0strict41.7%36.1%39.6%
学際的推論Humanity’s Last Examツールなし60.9%57.8%56.6%
学際的推論Humanity’s Last Examツールあり65.0%63.8%63.6%
ビジネス業務の自動化AutomationBench31.4%17.1%26.9%19.6%
エージェント型コーディングCursorBench 3.2.073.4%70.5%70.0%67.2%

表を読むときの注意を3つだけ先に書いておきます。

1. Terminal-Bench 4.0の「60.9%」はMythos 5.1の値です。公式表ではFable 5.1のセルに併記されています。Claude Mythos 5.1はProject Glasswing参加企業のみへ提供されるモデルで、Fable 5.1と仕様・料金は同じです。一般提供のモデルで出せる数字は55.8%のほうなので、稟議書に60.9%を貼らないでください。ややこしいことに、Humanity’s Last Exam(ツールなし)のFable 5.1も60.9%で、同じ数字が別の意味で表に2回出てきます。

2. GPT-5.6 Solの「—」は「弱い」ではなく「その表に値がない」です。OSWorld 2.0とHumanity’s Last Examの列は空欄になっています。空欄を0点扱いで比較しないこと。ここは各社の公表方針の差であって、性能の差ではありません。

3. GDPval-AA v2だけ単位が違います。パーセントではなくスコア(1853など)で、値が大きいほど良い指標です。そして公式表にはっきり「v2」とバージョンが振られている点が重要です。バージョンが違えば数値は接続できないので、バージョン表記のない過去の数値と並べないでください。本記事の表はすべてv2の値で統一しています。

領域別の読み解き(1)科学研究・ターミナル作業・コンピュータ操作

科学研究のエージェント作業:24.7%→52.6%で約2.1倍

9指標のなかで最も変化が大きいのがここです。Terminal-Bench-Science 0.1は、ターミナル上で科学研究に近い多段作業をどこまで自走できるかを見る指標で、Fable 5の24.7%からFable 5.1で52.6%へ。Opus 5の29.0%、GPT-5.6 Solの22.4%と比べても、この表のなかでは頭ひとつ抜けています。

業務に翻訳すると、「手順が最初から決まっていない調査を、途中の結果を見ながら自分で組み立て直す作業」に効く数字です。具体的には、データを取ってきて前処理して、結果がおかしいので条件を変えてもう一度回す、という往復。研究開発部門だけの話ではなく、社内データの分析や不具合の原因追跡も同じ形をしています。

ただし52.6%は「半分は完遂できない」という意味でもあります。人が結果を確認するプロセスを外していい水準ではありません。

ターミナル作業:42.0%→55.8%、Opus 5は52.3%

Terminal-Bench 4.0はターミナル上のエージェント型コーディングを見る指標です。Fable 5.1が55.8%、Opus 5が52.3%、GPT-5.6 Solが37.3%。Fable 5.1とOpus 5の差は3.5ポイントで、科学研究ほどの開きはありません。

ここで効いてくるのがコストです。Fable 5.1は入力100万トークンあたり$10.00・出力$50.00、Opus 5は入力$5.00・出力$25.00。単価は2倍差です。3.5ポイントのために2倍払うかどうかは、タスクの失敗コストで決まります。この線引きはOpus 5とFable 5.1の違い|比較と使い分けで判断フローつきに整理しています。

コンピュータ操作:partialとstrictの差が本題

OSWorld 2.0は2条件で公開されています。partial(部分達成を認める採点)で77.9%、strict(完全達成のみ)で41.7%。同じモデル・同じベンチマークで36.2ポイントも違うわけです。

ここは実務で最も誤読されやすいところです。ブラウザやデスクトップアプリをAIに操作させる企画を通すとき、77.9%だけを見て「8割できる」と説明すると、実際の運用で「途中まではやるけれど最後まで終わらない」という報告が上がってきます。業務フローに組み込むなら見るべきはstrictの41.7%です。Fable 5の36.1%、Opus 5の39.6%と比べれば改善していますが、依然として無人運用の水準ではありません。

領域別の読み解き(2)知識労働・業務自動化・推論・コーディング

知識労働(GDPval-AA v2):1853対1824、Opus 5との差は29ポイント

GDPval-AA v2はドキュメント・表計算・スライドといった知識労働の成果物を評価する指標です。Fable 5.1が1853、Fable 5が1723、Opus 5が1824、GPT-5.6 Solが1711。

注目すべきはOpus 5が1824とかなり近いことです。前世代のFable 5(1723)よりOpus 5のほうが高い。つまり資料作成まわりだけを理由にFable 5.1へ上げるなら、Opus 5との差(29ポイント)に単価2倍を払う判断になります。公式ドキュメントも「ほとんどのワークロードはClaude Opus 5から始めること」を推奨しており、この表はその推奨と矛盾していません。

ビジネス業務の自動化(AutomationBench):17.1%→31.4%

変化率だけ見れば約1.8倍。ただしこの数字は次のH2で扱う注記の影響を最も強く受ける指標です。先に結論だけ書くと、Fable 5側にセーフガード介入による0点計上が含まれているため、17.1%→31.4%の差をそのまま「素の実力差」と読むのは危険です。Opus 5の26.9%との差(4.5ポイント)のほうが、同じ条件で比べた実力差に近い読み方になります。

学際的推論(Humanity’s Last Exam):ツールあり65.0%、ツールなし60.9%

興味深いのは、ツールなしの条件でFable 5.1(60.9%)がOpus 5(56.6%)に4.3ポイント差をつけているのに対し、ツールありでは65.0%対63.6%で1.4ポイント差まで縮むことです。検索や実行環境を渡してしまえば、モデル単体の知識差はある程度埋まる。逆に言えば、ツールを渡さない使い方(社内文書だけを見て判断させるなど)ほど5.1の差が出やすいという読み方ができます。

エージェント型コーディング(CursorBench 3.2.0):73.4%だが条件に注意

Fable 5.1が73.4%、Fable 5が70.5%、Opus 5が70.0%、GPT-5.6 Solが67.2%。差は3ポイント前後で、この表のなかでは最も詰まっています。

そして条件です。Cursor社のコメントとして、CursorBench 3.2でmax effort時に73.4%(同社が走らせたなかで最高)と紹介されています。つまり公式表のこの数字は、思考量を最大に振った条件の値です。effortを下げて運用する前提なら、この数字はそのまま自社に当てはまりません。effortについては後半で扱います。

Opus 5・GPT-5.6 Solとの相対位置|同じ表の中だけで比べる

公式表の価値は、4モデルが同じ条件・同じ実行者で並んでいることにあります。各社が自社発表の数字を持ち寄った比較ではなく、1つの表として提示されている以上、少なくとも条件は揃っています。その前提で相対位置を整理します。

比較軸Fable 5.1とOpus 5の差Fable 5.1とGPT-5.6 Solの差
Terminal-Bench-Science 0.123.6ポイント差(52.6%対29.0%)30.2ポイント差(52.6%対22.4%)
Terminal-Bench 4.03.5ポイント差(55.8%対52.3%)18.5ポイント差(55.8%対37.3%)
GDPval-AA v229ポイント差(1853対1824)142ポイント差(1853対1711)
OSWorld 2.0 strict2.1ポイント差(41.7%対39.6%)公式表に値なし
AutomationBench4.5ポイント差(31.4%対26.9%)11.8ポイント差(31.4%対19.6%)
CursorBench 3.2.03.4ポイント差(73.4%対70.0%)6.2ポイント差(73.4%対67.2%)

差分は公式掲載値の引き算です。ここから言えるのは2つ。

Opus 5との差は、科学研究と知識労働を除けば数ポイント。コンピュータ操作にいたっては2.1ポイントで、後述する第三者評価の誤差幅を考えれば「ほぼ横並び」と読むべき領域もあります。単価が2倍であることを踏まえると、全社の既定モデルをFable 5.1にする理由は、この表からは出てきません。公式ドキュメントの推奨(まずOpus 5、それで足りないときにFable 5.1)と同じ結論です。

GPT-5.6 Solとの差は、ターミナル系と自動化系で明確。ただしGPT-5.6 Solは公式表で2指標が空欄です。他社モデルとの総合比較をしたいなら、この表だけでは足りません。ベンチマーク数値そのものの信頼性についてはGPT-5.6ベンチマークは信用できるか|モデル選定リテラシーで、評価方法の側から整理しています。

この記事の内容、自社の業務でも回したい?

AI顧問(月次伴走)が、貴社の業務に合わせて導入から定着まで並走します。研修4,000名以上・支援100社以上の実績。まずは30分の壁打ちから。

AI顧問の無料相談(30分)

【重要】公式注記の読み方|セーフガード介入でスコアが低めに出る仕組み

ここが本記事で一番伝えたいところです。公式表の下には、要旨としてこう書かれています。

Fable 5.1は本番のセーフガードを有効にした状態で評価している。セーフガードが介入したタスクでは、Fable 5.1とFable 5はOSWorld 2.0で0点、Fable 5はAutomationBenchで0点として計上した。その他の介入では、サイバーセキュリティ課題はClaude Opus 4.8が、生物学課題はClaude Opus 5が完了した。これによりFable 5.1とFable 5のスコアは低めに出ている可能性がある。


セーフガードが介入したタスクが0点として計上される仕組みの図

噛み砕きます。ベンチマークのタスクのなかには、安全上の理由でモデルが実行を断るものが混ざっています。断った=解けなかった、として0点で数えているのがこの評価の作り方です。能力がなくて解けなかったのか、能力はあるが断ったのかを、スコアは区別しません。

実務側で効いてくる読み方は3つあります。

読み方1:OSWorld 2.0の77.9%/41.7%は、実力の下限に近い。Fable 5.1もFable 5も0点計上を含むので、両方が同じ方向に低く出ています。ここでの世代間比較(77.9%対72.9%)は成立しますが、OSWorldの値が入っていないGPT-5.6 Solとの比較には使えません

読み方2:AutomationBenchの「17.1%→31.4%」は割り引く。0点計上が入っているのはFable 5だけです。前世代側だけが下振れした状態の差分なので、1.8倍という変化率は実力差より大きく出ています。同じ表のOpus 5(26.9%)との差4.5ポイントを併記して稟議に出すのが安全です。

読み方3:介入時に別モデルが引き継いでいる。サイバーセキュリティ課題はClaude Opus 4.8、生物学課題はClaude Opus 5が完了した、と書かれています。これは公式ドキュメントに記載されているフォールバック設計(Fable 5.1で拒否された要求の再試行先はOpus 4.8とOpus 5)と一致します。つまり本番でも、拒否されたら別モデルへ回す運用が前提になっているということです。安全評価の設計そのものはClaude Fable 5.1/Mythos 5.1のシステムカードで公開されています。

事例区分: 想定シナリオ
以下は100社以上のAI研修・導入支援で繰り返し出てくる典型的なやり取りをもとに構成したものです。特定の企業の事例ではありません。

研修や導入支援の場で、この手の注記を飛ばしたまま「ベンチマークで◯%だから業務の◯割が自動化できます」と書かれた稟議書を見ることがあります。半年後に「思ったより自動化できていない」となる原因の多くは、モデルの実力ではなく、採点条件と業務条件がズレていることです。partialとstrictの差、0点計上の有無、effortの条件。この3つを稟議書の脚注に書いておくだけで、後から揉めなくなります。

effortと性能・コストの関係|Low/MediumでもFable 5同等以上

Fable 5.1はadaptive thinkingが常時オンで、思考の深さはeffortパラメータで制御します。公式は「Fable 5.1はLow/Medium effortでもFable 5と同等以上の結果を、はるかに低いコストで出す」と説明しています。

既定値は場所によって違います。

使う場所effortの既定読み方
Claude CodeHigh公式表の数値に近い条件で動く
Claude Cowork/claude.aiMedium公式表より控えめな条件
Claude APIHigh(既定値)指定しなければ深く考える=出力トークンが増える

公式ドキュメントは、Fable 5からの改善幅はeffortが高いほど大きいとも書いています。ここから導ける運用方針はシンプルです。

  • コストを抑えたい定型処理:Low/Mediumで回す。Fable 5と同等以上の品質を、より低いコストで得られるという公式説明の範囲
  • 難所(長時間の調査、大規模リファクタ、複雑な判断):Highに上げる。5.1の伸びはここで出る
  • 低effortの副作用に注意:公式は「最も低いeffortでは検索や取得のツールを呼ぶ頻度が下がり、記憶から答えることが増える」と明記しています。最新情報が要るターンでeffortを下げると、古い情報で答えるリスクが上がります

そして5.1で追加されたのが会話の途中でeffortを変えられる機能(ベータ)です。プロンプトキャッシュを壊さずに切り替えられるので、「調査フェーズはHigh、要約フェーズはLow」といった使い分けが1つの会話のなかでできます。公式ドキュメントに載っている呼び出し形は次のとおりです(ベータヘッダが必要)。

anthropic-beta: mid-conversation-output-config-2026-07-01

{
  "model": "claude-fable-5-1",
  "output_config": {"effort": "high"},
  "messages": [
    {"role": "user", "content": "…(重い作業を依頼)"},
    {"role": "assistant", "content": "…"},
    {"role": "system", "content": [], "output_config": {"effort": "low"}},
    {"role": "user", "content": "この計画を1文で要約して"}
  ]
}

Claude Code側でのモデル指定や使い分けはClaude CodeでFable 5.1を使う方法と料金にまとめてあります。

第三者評価(1)Vals AI|10指標の順位と、下がった1指標

公式発表だけでは判断材料が足りないので、独立評価も見ます。Vals AIが2026年9月2日時点で掲載している値は次のとおりです。

ベンチマークFable 5.1掲載順位Fable 5
Vals Index(総合)67.87%(±1.10)51モデル中1位66.04%
LiveCodeBench90.52%142モデル中1位掲載なし
Terminal-Bench 2.185.02%59モデル中2位80.52%
MMLU Pro92.38%1位掲載なし
MMMU Pro90.64%1位掲載なし
MedScribe91.29%1位掲載なし
ProofBench v1.1100.00%1位95.00%
EMB76.67%1位73.67%
Legal Research Bench55.29%2位49.52%
Harvey’s Legal Agent Benchmark6.67%55モデル中18位11.25%

都合の悪いところから書きます。

Harvey’s Legal Agent Benchmarkは11.25%から6.67%へ下がっています。55モデル中18位。総合1位のモデルが、ある特定の法務エージェント課題では前世代を下回っている。これは「新しいモデルほど全部強い」が成り立たない実例です。

同じ法務領域でも、Legal Research Benchでは49.52%から55.29%へ上がっており、Opus 5と同値(55.29%)で2位。同じ業務ドメインで、ベンチマークが違えば向きが逆になります。法務部門でのAI活用を検討しているなら、この2行の食い違いこそが「自社タスクで測らないと分からない」ことの証拠です。

もう1つ、総合指標の読み方について。Vals Indexの67.87%には±1.10という誤差幅が併記されています。Claude Opus 5は67.21%、Fable 5は66.04%。Fable 5.1とOpus 5の差は0.66ポイントで、誤差幅の内側です。「51モデル中1位」は事実ですが、2位との差は統計的に意味のある差とは言い切れない。順位だけを切り出して社内資料に貼ると、実態より大きな差に見えます。

そしてTerminal-Benchの扱いにも注意が必要です。公式表のTerminal-Bench 4.0は55.8%、Vals AIのTerminal-Bench 2.1は85.02%。同じモデル、同じ名前のベンチマーク、しかし約30ポイント違います。バージョンと実行環境が違えば数字は別物になる、という当たり前のことが、この2つの数字の並びに出ています。

第三者評価(2)Artificial Analysis|総合1位、ただし冗長で高コスト

Artificial Analysisが2026年9月2日時点で掲載している値も見ておきます。こちらは性能とコスト・速度を同じ画面で並べる評価軸です。

項目Claude Fable 5.1掲載中央値との比較
Intelligence Index66点(192モデル中1位)
入力価格100万トークンあたり$10.00中央値$2.00
出力価格100万トークンあたり$50.00中央値$10.00
ブレンド価格100万トークンあたり$7.17
評価実行の出力トークン量1億4,000万トークン中央値7,100万トークン
1タスクあたり平均コスト$3.69「同価格帯のモデルと比べて特に高価」と記載
出力速度66.0トークン/秒中央値73トークン/秒
初回トークンまでの時間285.33秒中央値2.87秒

ここで押さえるべきは「総合1位」と「1タスク$3.69」が同じページに並んでいることです。Artificial Analysisは評価実行時の出力トークン量が中央値の約2倍になっている点を挙げて、このモデルを”very verbose”(非常に冗長)と表現しています。単価が高いだけでなく、同じ問題を解くのに書く量が多い。だから1タスクのコストが押し上がります。

初回トークンまで285.33秒という数字は、そのまま「チャットの返事が5分待ち」と読まないでください。adaptive thinkingを含んだ計測条件と考えるのが自然で、日常的なチャット用途の体感待ち時間とは別物です。ただしエージェントを長く走らせる用途では、この「考えている時間」が壁時計時間としてそのまま乗ってくるのは事実です。リアルタイム応答が要る画面には向きません。

コストについては、Fable 5.1でキャッシュ読み取り単価が下がっている点も併せて見るべきです。キャッシュ読み取りは100万トークンあたり$0.25で、Fable 5($1.00)の4分の1。同じ文脈を何度も読み直す長時間のエージェント処理ほど、実効コストの差が縮みます。料金面の詳細はClaude Fable 5.1とは?変更点・料金・使い方にまとめています。

ベンチマークを自社の用途へ翻訳する|検証の手順とプロンプト

ここまでの数字を、自社で使える判断に落とします。ベンチマークは「どのモデルが偉いか」を決めるためではなく、「どこを自分で測るべきか」を絞り込むために使うのが実務での正しい使い方です。


ベンチマークを自社タスクの検証に翻訳する4ステップの手順図

手順は4ステップです。

ステップ1:自社タスクを9指標のどれに寄せるか決める。「議事録要約」なら知識労働(GDPval-AA v2)、「社内システムの改修」ならターミナル系(Terminal-Bench 4.0/CursorBench)、「基幹システムの画面操作」ならコンピュータ操作(OSWorld 2.0 strict)。ここでずれると、以降の検証が全部ずれます。

あなたはAI導入の評価設計を担当するコンサルタントです。
以下の業務タスクを、次の6領域のどれに最も近いか判定してください。
1) 科学研究のエージェント作業(手順未確定の多段調査)
2) エージェント型コーディング(ターミナル・IDE上の実装)
3) 知識労働(文書・表計算・スライドの作成)
4) コンピュータ操作(ブラウザ・デスクトップアプリの操作)
5) 学際的推論(知識と論理での判断)
6) ビジネス業務の自動化(社内フローの多段処理)

【業務タスク】
(ここに自社の業務を、入力・出力・所要時間・失敗したときの影響で記述)

出力形式:
- 最も近い領域とその理由(3行)
- 2番目に近い領域(1行)
- この業務で「部分達成」と「完全達成」がどう違うかの定義(3行)

ステップ2:partialとstrictを自社の言葉で定義する。OSWorld 2.0の36.2ポイント差が示すとおり、「途中まで」と「最後まで」は別の指標です。自社タスクでも先に決めておきます。

次の業務について、AIの出力を採点する基準を2段階で作ってください。

【業務】(ステップ1で書いた業務をそのまま貼る)

作ってほしい基準:
A) 部分達成の基準:人が手を入れれば使える状態。何ができていれば合格か5項目
B) 完全達成の基準:人の手入れなしでそのまま次工程へ渡せる状態。何ができていれば合格か5項目
C) 両者の間で最も落ちやすい工程を1つ挙げ、その理由

条件:業務の専門用語はそのまま使い、一般論に置き換えないこと。

ステップ3:effortを変えて同じタスクをA/Bで回す。公式が「Low/MediumでもFable 5と同等以上」と言っている以上、まず確かめるべきは「自社のタスクはHighが必要か」です。

これから同じタスクを、設定違いで複数回実行します。
毎回の実行結果について、次の形式だけを出力してください。余計な説明は不要です。

- 完全達成/部分達成/未達成 のいずれか
- 未達成の場合、どの工程で止まったか(1行)
- 出力に含まれる推測・未確認の記述(箇条書き。無ければ「なし」)
- この結果を人が確認するのに必要な時間の見積もり(分)

【タスク】
(自社タスクを貼る)

ステップ4:拒否とミスを分けて記録する。公式注記のとおり、セーフガードによる拒否は0点として数えられます。自社検証で同じ扱いをすると、モデルの実力を過小評価します。

以下は、AIエージェントの実行ログです。
各失敗を次の3分類に振り分け、表形式で出力してください。

1) 安全上の理由による拒否(実行を断った)
2) 能力不足による失敗(試みたが完遂できなかった)
3) 環境・権限の問題(ツール側のエラー、認証切れ等)

【ログ】
(ログを貼る)

出力:分類 / 該当箇所の引用(1行) / 再実行で解消する見込み(高・中・低)
最後に、1)に該当する件数を「別モデルへ回すべき件数」として明記してください。

そして最後に、コストを実測します。Artificial Analysisが指摘した「出力が冗長」は、自社タスクでも同じ形で出るとは限りません。実際の請求内訳で確かめます。

次の実行ログから、コスト観点の集計表を作ってください。

【集計項目】
- タスク1件あたりの入力トークン / 出力トークン / キャッシュ読み取りトークン
- タスク1件あたりの推定コスト(入力100万トークンあたり$10.00、出力$50.00、キャッシュ読み取り$0.25で計算)
- 出力トークンが多かった上位3件と、その原因の推定(1行ずつ)
- キャッシュ読み取りの比率(%)

【ログ】
(使用量ログを貼る)

注意:推定に使った単価を表の下に必ず明記すること。

AIエージェントの導入設計そのものを体系的に見直したい場合は、AIエージェント導入完全ガイドに評価設計から運用ルールまでまとめてあります。

【要注意】ベンチマークの読み違い4パターン

ここまでの内容を、失敗の形で整理しておきます。

失敗1:同じ名前のベンチマーク数値を横並びにする

❌ 「Terminal-Benchは55.8%と85.02%、どっちが本当?」
⭕ バージョンと実行者が違えば別の指標。公式表はTerminal-Bench 4.0、Vals AIはTerminal-Bench 2.1。比較していいのは同じ表の中だけです。GDPval-AAも本記事の表はすべてv2で、旧バージョンの数値とは接続できません。

失敗2:誤差幅を無視して「1位」を貼る

❌ 「Vals Indexで1位だからOpus 5より上」
⭕ 67.87%(±1.10)に対してOpus 5は67.21%。差は0.66ポイントで誤差の内側です。順位は事実でも、差の大きさは資料に書けない。書くなら誤差幅も併記します。

失敗3:0点計上を実力差として読む

❌ 「AutomationBenchが17.1%から31.4%に伸びた=業務自動化が1.8倍」
⭕ Fable 5側にセーフガード介入による0点計上が含まれます。同じ表のOpus 5(26.9%)との差4.5ポイントを併記するのが誠実な出し方です。

失敗4:総合1位=自社に最適、と決める

❌ 「192モデル中1位のモデルを全社の既定にする」
⭕ 1タスクあたり$3.69、出力トークンは中央値の約2倍、初回トークンまで285.33秒。公式ドキュメント自身が「ほとんどのワークロードはOpus 5から始める」と書いています。Fable 5.1は、Opus 5を高いeffortで試しても届かなかったときの選択肢です。

よくある質問

Q1. Claude Fable 5.1のベンチマークは公式でいくつ公開されていますか?
A. 2026年9月1日の公式発表の表を、条件違い(OSWorld 2.0のpartial/strict、Humanity’s Last Examのツールあり/なし)まで分けて数えると9行です。ベンチマークの種類としては7つ(Terminal-Bench-Science 0.1、Terminal-Bench 4.0、GDPval-AA v2、OSWorld 2.0、Humanity’s Last Exam、AutomationBench、CursorBench 3.2.0)。同じ表にClaude Fable 5、Claude Opus 5、GPT-5.6 Solが並んでいます。

Q2. Terminal-Bench 4.0の「60.9%(Mythos 5.1)」とは何ですか?
A. Claude Mythos 5.1の値です。Mythos 5.1はProject Glasswing参加企業のみに提供されるモデルで、Fable 5.1と仕様・料金は同じですが、一般には使えません。一般提供のFable 5.1の値は55.8%です。なお、Humanity’s Last Exam(ツールなし)のFable 5.1も60.9%なので、混同しないよう注意してください。

Q3. GPT-5.6 Solの欄が「—」になっているのはなぜですか?
A. OSWorld 2.0とHumanity’s Last Examの2指標について、公式表に値が掲載されていないためです。0点や測定不能という意味ではありません。この2指標を含めてGPT-5.6 Solと比較したい場合、公式表だけでは材料が足りません。

Q4. 公式表とVals AIで数字が違うのはなぜですか?
A. ベンチマークのバージョンと実行環境が違うためです。例としてTerminal-Benchは、公式表が4.0で55.8%、Vals AIが2.1で85.02%。同じモデルでも約30ポイント違います。どちらかが誤りなのではなく、別々の測定です。比較は必ず同じ表の中で行ってください。

Q5. Fable 5.1はOpus 5より常に強いのですか?
A. 公式表の範囲では、Opus 5に対して9指標すべてでFable 5.1が上回っています。ただし差は科学研究の23.6ポイントからコンピュータ操作(strict)の2.1ポイントまで開きがあります。第三者のVals Indexでは67.87%対67.21%(誤差幅±1.10)で、差は誤差の内側です。加えてFable 5.1は単価がOpus 5の2倍(入力$10.00/出力$50.00、Opus 5は$5.00/$25.00)。公式ドキュメントも、ほとんどの用途はOpus 5から始めることを推奨しています。

Q6. ベンチマークが高い=自社の業務が速くなる、ということですか?
A. 直結しません。理由は3つあります。(1)採点条件が業務条件と違う(partialとstrictで36.2ポイント差)、(2)セーフガードによる拒否が0点として計上されている、(3)公式表のCursorBenchはmax effort条件の値です。自社では、記事後半の4ステップで自分のタスクを測るのが確実です。

Q7. effortはどれに設定すべきですか?
A. 定型処理はLowまたはMedium、難所はHighが基本です。公式は「Fable 5.1はLow/Medium effortでもFable 5と同等以上の結果を、はるかに低いコストで出す」と説明しており、Fable 5からの改善幅はeffortが高いほど大きいとも記載しています。既定値はClaude CodeがHigh、Claude Coworkとclaude.aiがMedium、Claude APIがHighです。ただし最も低いeffortでは検索ツールの呼び出しが減り、記憶から答える傾向が強まるため、最新情報が必要なターンでは下げないでください。

参考・出典

まとめ:今日から始める3つのアクション

  1. 今日やること:自社の主要タスクを、公式9指標の6領域のどれに寄せるか1行で書き出す。「科学研究のエージェント作業」「ビジネス業務の自動化」「ターミナル作業」に近いほど、Fable 5.1へ切り替える価値が大きくなります
  2. 今週中:partial(部分達成)とstrict(完全達成)を自社の言葉で定義し、同じタスクをeffort違いで回して記録する。公式が「Low/MediumでもFable 5と同等以上」と言っている以上、まず確かめるべきは「自社にHighが必要か」です
  3. 今月中:拒否とミスを分けて集計し、1タスクあたりのコストを実測する。Opus 5との差が数ポイントの領域なら、単価2倍を払う理由があるかを数字で判断できます

あわせて読みたい


次回予告:次の記事では「セーフガードで止まったときの運用設計」をテーマに、拒否されたリクエストを別モデルへ回すフォールバックの組み方と、その記録の残し方を扱う予定です。


著者:佐藤傑(さとう・すぐる)
株式会社Uravation代表取締役。X(@SuguruKun_ai)フォロワー約10万人。
100社以上の企業向けAI研修・導入支援。著書『AIエージェント仕事術』『Claude仕事術』(SBクリエイティブ・シリーズ累計50,000部突破)。
SBクリエイティブ「ビジネス+IT」ほかで生成AI連載を執筆(NewsPicks最大1,125ピックス)。

モデル選定や社内展開のご相談はお問い合わせフォームからお気軽にどうぞ。

この記事の内容を社内展開する方へ: Claude Fable 5 法人導入・安全運用ガイド(無料・PDF 14ページ) をダウンロードできます。

無料・初回相談

Claude Code / Codex を“自社の業務”で使いこなすなら

週1回60分のマンツーマンで、御社の実務をその場で自動化。設計から定着まで、業務に合わせて伴走します。

  • 30分・オンライン
  • 売り込みでなく業務診断
  • 完全マンツーマン

お問い合わせフォームから24時間以内にUravation担当者がご返信します。

この記事をシェア

Claude Codeを本格的に使いこなしたい方へ

業務に合わせたマンツーマン指導で、Claude Codeを実務に組み込める状態まで伴走します。
現役エンジニアが貴方の業務に合わせてカリキュラムをカスタマイズ。

✓ 1対1のマンツーマン ✓ 業務に合わせた設計 ✓ 実務ベースの指導
Claude Code 個別指導の詳細を見る まずは無料相談

導入事例: SANGO株式会社 — Claude Codeで月10〜16時間の定型業務を自動化 →

Contact お問い合わせ

生成AI研修や開発のご依頼、お見積りなど、
お気軽にご相談ください。

Claude Code 個別指導(1対1・12セッション)をご希望の方はこちらから別途お申し込みください

Claude Code 個別指導 無料相談