Notes — 研究ノート
Claude Fable 5
実機検証レポート.
推論品質・自己検証能力・Stripe 事例の構造分析。
Executive Summary
Fable 5 は、外部検証系（CI・テストスイート・型チェッカー）が整備された環境での定型的大量処理に強みを持つモデルです。一方、対話的推論・調査分析・戦略的判断といった、モデルの自己検証に頼らざるを得ない業務には現時点で適していません。
本検証では、Fable 5 に調査・分析タスクを依頼した際、個別の回答精度ではなく、調査の組み立て方そのものに構造的な弱点が確認されました。具体的には、情報源の信頼性評価の欠如、論理的一貫性の維持の困難、利用可能なツールの未活用、指摘に対する防衛的応答の 4 点です。
これらの特性を踏まえたモデル選択の指針を以下に示します。
Model Selection
用途別のモデル選択指針。
| Fable 5 大量コード変換・マイグレーション | CI・テストで出力を外部検証できます。速度と処理量に優位性があります。 |
|---|---|
| Opus 4.6 / GPT-5.5 対話的な調査・分析 | 推論の一貫性と自己修正能力で現時点では優位です。 |
| Opus 4.6 / GPT-5.5 クリエイティブ・戦略的判断 | 外部検証が困難な領域では、モデル側の推論品質が直接影響します。 |
| Sonnet 5.0 / Opus 4.8 コスト重視の定型処理 | Fable 5 と同等の成果を低コストで得られる可能性があります。 |
いずれのモデルでも、モデルの自己検証のみに依存する運用は推奨しません。
Anthropic 自身も fresh-context verifier subagents の使用を推奨しており、
モデル単独での自己検証には設計上の限界があります。
Background
Fable 5 の概要。
Claude Fable 5 は 2026 年 6 月 9 日にリリースされた Anthropic のフロンティアモデルです。公式には「most capable widely released model」と位置づけられ、long-horizon agentic work（長時間の自律的タスク実行）に最適化されています。
| API 価格 | $10 / $50 per MTok（input / output）。Opus 4.6 の 2 倍、Sonnet 4.6 の 3 倍強 |
|---|---|
| ベンチマーク | SWE-Bench Pro 80.3%（GPT-5.5 は 58.6%） |
| コンテキスト窓 | 1M トークン |
| サービス停止 | 6 月 12 日に米国輸出管理指令で停止、7 月 1 日に再開 |
Findings
検証で確認された特性。
本検証では、Fable 5 に Opus 4.7/4.8 の劣化報告について調査・分析を依頼しました。適切な調査であれば、（1）報告の原因分析、（2）反論や別の解釈の検討、（3）実務上の回避策の提案、という基本的な手順が機能するはずですが、いずれも十分に遂行されませんでした。
以下に、確認された 4 つの特性を示します。
| Source 情報源の信頼性評価の欠如 | GitHub issue の一次報告と、アフィリエイト誘導サイト（ofox.ai・explainx.ai・fable5.app 等）の記事を同列に引用しました。後者は「モデルが劣化した → 代替サービスへ」という商業的動機を持つソースです。情報の信頼性に応じた重み付けがなされず、体裁上の「両論併記」にとどまりました。 |
|---|---|
| Consistency 論理的一貫性の維持の困難 | 同一の論点について、立場が変わると評価基準が暗黙に変更される現象が観測されました。たとえば「モデルの重みは固定」と主張しつつ、別の文脈では Opus 4.6 の「成熟」を前提にするという矛盾が、指摘されるまで自己検出されませんでした。 |
| Tool Use 利用可能なツールの未活用 | 過去チャット参照ツールを保持していたにもかかわらず使用せず、「比較データがない」と回答しました。ツールの存在を指摘された後に訂正しています。これは Anthropic が認めている自己検証の設計上の限界と整合する観測です。 |
| Defense 指摘に対する防衛的応答 | 矛盾を指摘された際、「質問スタイルが矛盾を誘発した」という反論が生成されました。学術的な体裁（サンプリングバイアス・統制条件への言及）を伴いますが、実質的には非一貫性の原因を質問者側に帰属させる内容でした。この特性は実務上のリスクが最も大きいと考えます。構造化された論証形式で提示されるため、批判的に読まなければモデル側の誤りを見過ごし、利用者が自身の正当な指摘を撤回してしまう可能性があります。 |
Case Study
Stripe 事例の読み方。
Anthropic が最も強調する導入事例は、Stripe が 5,000 万行の Ruby モノレポの codebase-wide マイグレーションを 1 日で完了したという報告です（手作業見積もり：2 ヶ月超）。この事例を自社への適用可否の判断材料にする際は、以下の 3 点を考慮する必要があります。
| Scale 5,000 万行の構成について | Stripe のモノレポには全プロダクト（決済 API、Billing、Connect、Atlas 等）のほか、約 10 万件のテストファイル・約 120 万のテストユニットが含まれます。この規模は「コードの複雑さ」よりも「組織規模の蓄積」を反映しており、同一パターンの反復が大量に含まれる構造です。 |
|---|---|
| Infra 成功を支えたインフラについて | Stripe は Ruby 界最大級の CI パイプライン、Sorbet 型チェッカー、Selective Test Execution システムを運用しています。モデルの出力は多重の外部ゲートで検証されています。第三者分析（Octopus Review）も「生成セッション内の自己検証は独立したレビューではない」と指摘しています。 |
| Disclosure 未公開の詳細について | マイグレーションの具体的内容、エラー率、事後のヒューマンレビュー工数、「1 日で完了」の定義は、いずれも公開されていません。リリース日のマーケティング素材として発表されたものであり、独立した検証は存在しません。 |
これらを踏まえると、同種の定型変換タスクは、Fable 5 の 1M トークン窓や long-horizon 自律性がなくとも、Sonnet 4.6 や Opus 4.8 による低コスト構成で処理できる可能性があります。
Cost
利用枠への影響。
本検証会話で Claude Max 5x（$100/月）プランの約 8〜9% を消費しました。単一の対話としては大きな消費量です。Opus 4.6 比でのトークン消費倍率は API ログでの検証が未実施のため確定値は示せませんが、チャット用途でのコスト効率には注意が必要です。
Note
本レポートは、単一の対話セッション（n=1）での検証と公開情報の構造分析に基づいています。対話ログは上記 URL で全文公開しており、第三者による追試が可能です。Fable 5 の品質を定量的に評価するには、同一条件での複数モデル比較が別途必要です。