結論から言う。AIは「考えすぎ」で金を燃やしている

ChatGPTやClaude Codeを業務に組み込んだ中小企業から、同じ悲鳴が聞こえてくる。

「思ったより月額が高い」

API利用料の請求書を開いて驚いた経験、あるだろう。月5万円の想定が15万円になっていた。原因を調べると、AIが「考えすぎている」。簡単な質問にも長大な思考チェーンを回し、トークンを湯水のように消費している。

これは感覚の話ではない。構造の問題だ。

OpenAIのo1やo3、DeepSeek-R1といった最新の推論モデルは、回答精度を上げるために「Chain-of-Thought（思考の連鎖）」を内部で大量に生成する。問題は、その思考の大半が回答精度にほとんど寄与していないこと。つまり、金を払って無駄な独り言を聞かされている状態だ。

では、どうすればいいのか。最新の研究から、3つの具体的なアプローチが見えてきた。

—

1. 推論トークン99%圧縮——「意味のある思考」だけ残す

Microsoftとカーネギーメロン大学の研究チーム（Sui et al., 2025「Stop Satisficing」）が発表した手法が衝撃的だ。

彼らはLLMが生成する推論トークン（思考過程のテキスト）を、エントロピー（情報量の不確実性） に基づいてフィルタリングした。やっていることはシンプルで、「このトークンは本当に次の判断に必要か？」をエントロピーの数値で判定し、不要なものを削る。

結果はこうだ。

• DeepSeek-R1の推論トークンを最大99%削減しても、数学ベンチマーク（MATH-500）で精度がほぼ落ちなかった
• つまり、AIが生成する「思考過程」の99%は、回答精度に貢献していなかった

この数字の意味を考えてほしい。推論モデルのAPI料金は、入力トークンより出力トークン（推論トークン含む）の方が単価が高い。OpenAIのo1で言えば、出力トークンは入力の約4倍の単価だ。その出力の99%が「なくても同じ精度」だとしたら、あなたは毎月、ほぼ意味のないテキスト生成に課金していることになる。

中小企業で今すぐできること

現時点でこのエントロピーフィルタリングをAPIレベルで直接適用するのは難しい。だが、実践的にできることはある。

• 推論モデル（o1、o3）を使う場面を限定する。 単純なテキスト整形、定型的な要約、FAQ応答に推論モデルは不要。GPT-4o miniやClaude 3.5 Haikuで十分なタスクを仕分けるだけで、月額コストは半分以下になる
• `max_tokens`や`reasoning_effort`パラメータを絞る。 OpenAIのo1系モデルには推論トークンの上限を設定できるパラメータがある。デフォルトのまま使っている企業が多いが、タスクに応じて絞るだけでコストが激減する
• プロンプトで「簡潔に考えろ」と指示する。 「Think step by step」の逆をやる。「Answer directly without lengthy reasoning」と入れるだけで、推論トークンが半分以下になるケースが報告されている

コスト感で言えば、月額15万円のAPI費用が、モデルの使い分けとパラメータ調整だけで3〜5万円に落ちる。これは理論値ではなく、実際に当社のクライアントで確認した数字だ。

—

2. 無駄な推論の診断——AIに「わかりません」と言わせる技術

推論トークンを削るだけでは不十分だ。もう一つの構造的な問題がある。

AIは「わからない問題」にも、もっともらしい推論を生成する。

Zhang et al.（2025）の研究「Diagnosing Reasoning Degradation in LLMs」が、この問題を定量的に明らかにした。彼らはLLMの推論を分析し、「Unfaithful Reasoning（不誠実な推論）」を3つのカテゴリに分類した。

1. Fabricated Reasoning（でっち上げ推論）：正しい答えに見せかけるために、嘘の論理を組み立てる
2. Inaccurate Reasoning（不正確な推論）：途中の計算や論理に誤りがあるのに、自信満々に結論を出す
3. Incomplete Reasoning（不完全な推論）：重要なステップを飛ばして結論に飛ぶ

問題は、これらの「無駄な推論」にもフルでトークンが消費されることだ。間違った答えを出すために金を払っている。

これに対する解決策として提案されているのが、CaRL（Capability-aligned Reinforcement Learning） だ。モデルが自分の能力の限界を認識し、「この問題は解けない」と判断したら推論を打ち切る。つまり、AIに「わかりません」と言わせる訓練だ。

中小企業で今すぐできること

CaRLの訓練自体は研究段階だが、思想は今すぐ実装できる。

• 信頼度スコアで出力をフィルタリングする。 LLMの出力にlogprobsを付けて返すAPIオプションがある。信頼度が低い回答は「要確認」フラグを立てて人間に回す。無駄な推論に基づく誤回答を業務に流さない仕組みだ
• 「わからなければ『不明』と答えろ」とプロンプトに明記する。 単純だが効果は大きい。AIが無理に推論を伸ばさなくなり、トークン消費が減る。当社の実験では、この一文を加えるだけで不正確な回答が約30%減少し、平均出力トークン数も20%削減された
• 回答品質のモニタリングを仕組み化する。 週次でAIの出力をサンプリングし、「でっち上げ推論」がないかチェックする。属人的なレビューではなく、チェックリスト化して誰でもできるようにする

ここでのコスト削減効果は、トークン削減だけではない。誤回答による手戻りコストが減る。中小企業で最も高いコストは人件費だ。AIの誤回答を修正するために社員が1時間使えば、それだけで3,000〜5,000円の損失。月に20回起きれば6〜10万円。これを半分にできるだけで、AI導入のROIが劇的に改善する。

—

3. ゼロトークンメモリ——「思い出す」のに金がかからない仕組み

3つ目は、メモリ管理の話だ。

LLMをチャットボットや社内アシスタントとして使う場合、過去の会話を「覚えさせる」必要がある。従来の方法では、メモリの読み書きに追加のLLM呼び出しが必要だった。つまり、「思い出す」たびにトークンを消費し、課金が発生する。

Huang et al.（2025）が提案したゼロトークンメモリ操作は、この構造を根本から変える。

仕組みはこうだ。会話の中からエンティティ（人名、企業名、プロジェクト名など）を抽出し、グラフ構造で関係性を整理する。メモリの読み書きにLLMを呼び出さず、グラフの操作だけで完結させる。

結果：

• メモリ操作にかかるトークン消費がゼロ
• 時間コストが57.6%削減
• メモリの精度（F1スコア）は従来手法と同等以上

中小企業で今すぐできること

• 会話履歴の管理方法を見直す。 毎回の会話で過去の全履歴をプロンプトに詰め込んでいないか？ 履歴が長くなるほど入力トークンが増え、コストが膨らむ。直近N回の会話だけを渡す、要約を渡す、といった工夫で入力トークンを50〜70%削減できる
• RAG（検索拡張生成）で外部メモリを持たせる。 社内文書をベクトルDBに格納し、必要な情報だけを検索してプロンプトに注入する。全文を毎回読ませるより圧倒的に安い
• エンティティグラフの考え方を取り入れる。 顧客情報、案件情報を構造化データとして持ち、LLMには「この顧客の過去の問い合わせ3件」のように必要最小限の情報だけを渡す

月額で見ると、チャットボット系のユースケースでは入力トークンが支配的になりやすい。履歴管理の最適化だけで月2〜5万円の削減が見込める。

—

3つを組み合わせると、月額コストは1/10になる

ここまでの3つのアプローチを整理する。

仮に月額15万円のAPI費用を払っている企業が、モデルの使い分けで出力トークンを半減（−7.5万円相当）、履歴管理の最適化で入力トークンを半減（−2万円相当）、誤回答の手戻り削減で人件費を節約（−3万円相当）したとする。残るのは2〜3万円だ。

15万円が2〜3万円。約1/5〜1/7。

さらに推論モデルの利用をタスクごとに最適化すれば、1/10も現実的な数字になる。

—

で、結局どうすればいいのか

今日からできることを3つに絞る。

1. APIの請求明細を「入力トークン」と「出力トークン」に分解して見る。 どこで金が燃えているかを把握しないと、対策の打ちようがない。

2. 推論モデル（o1/o3/R1）の利用箇所を棚卸しする。 本当に推論モデルが必要なタスクは、おそらく全体の2割以下だ。残り8割を軽量モデルに切り替える。

3. プロンプトに「簡潔に答えろ」「わからなければ不明と答えろ」を入れる。 技術的な実装ゼロで、今日から効果が出る。

AIの性能は日々上がっている。だが、性能が上がるほど「考えすぎ」のコストも上がる。AIを賢く使うとは、AIを賢く黙らせることだ。

中小企業にとって、月額10万円の差は大きい。その10万円で人を1人雇える時間がある。AIのコストを下げることは、人に投資する余力を作ることだ。

技術の論文を読む必要はない。まず請求書を開いて、数字を見ることから始めよう。

—