結論から言う。「AIは高い」はもう終わった

今週、3つのニュースが同時に出た。

• 81,000人のClaudeユーザー調査で、ユーザーの大半がコーディング・文章作成・分析に使っており、用途の8割は「定型に近い繰り返しタスク」だった
• MixLLMという混合精度量子化の技術が発表され、LLMの推論コストを最大70%削減できることが示された
• セマンティックキャッシュの実装事例が相次ぎ、類似クエリのキャッシュヒット率90%超、API呼び出しコスト最大95%カットの報告が出た

この3つを並べて見ると、ひとつの構造が浮かぶ。

「同じような質問を、毎回フルプライスで投げている会社」が、圧倒的に損をする時代に入った。

月10万円のAPI費用を払っている中小企業。その7〜8割は「仕組み」を変えるだけで、月1〜3万円に落とせる可能性がある。問題は技術じゃない。「見直す気があるかどうか」だ。

—

81,000人の調査が暴いた「使い方の偏り」

Anthropicが公開した81,000人のClaudeユーザー調査。注目すべきは「何に使っているか」の内訳だ。

上位を占めたのは、ソフトウェア開発（コード生成・レビュー）、文章の作成・編集、データの要約・分析。つまりパターン化できるタスクが大半だった。

ここが重要なポイントだ。パターン化できるということは、

1. 過去の応答を再利用できる（キャッシュが効く）
2. 最高性能のモデルでなくても十分（小さいモデルで代替できる）
3. プロンプトをテンプレ化すれば属人化しない（仕組み化できる）

にもかかわらず、多くの企業は「とりあえずClaude最上位プラン」「とりあえずGPT-4o」で毎回フルコストを払っている。月額2万円のProプラン×5人で月10万円。APIで従量課金なら、使い方次第で月20〜30万円に膨らんでいる会社もある。

「使っているから価値がある」のではない。「同じ成果を、いくらで出せるか」が問いだ。

—

推論コスト7割減——MixLLMが変えるコスト構造

MixLLMは、LLMの推論時に「出力の特徴ごとに異なる精度（ビット数）で量子化する」技術だ。

従来の量子化は一律に精度を落とすため、品質劣化が避けられなかった。MixLLMは「重要な出力は高精度、それ以外は低精度」と混合することで、精度をほぼ維持したまま、メモリ使用量とコストを最大70%削減する。

中小企業にとっての意味はシンプルだ。

• 今まで高性能GPU（A100等）が必要だった処理が、安価なGPUやクラウドの低価格インスタンスで動く
• セルフホスティングのハードルが下がり、APIに従量課金し続ける必要がなくなる
• 月額のクラウドGPU費用が、例えば月5万円→月1.5万円レベルに落ちる可能性

もちろん、すべての中小企業が自前でモデルをホストする必要はない。だが「選択肢がある」ことが重要だ。API従量課金一択だった時代は終わりつつある。

—

セマンティックキャッシュ——同じ質問に2度金を払うな

もうひとつの革命が、セマンティックキャッシュだ。

通常のキャッシュは「完全一致」でしかヒットしない。だがセマンティックキャッシュは、意味的に類似したクエリを検出し、過去の応答を再利用する。

例えばこうだ。

• 「この契約書のリスクを教えて」と「この契約のリスクポイントを要約して」は、ほぼ同じ質問だ
• 従来：2回ともAPIにフルリクエスト → 2回分のコスト
• キャッシュ導入後：2回目はキャッシュから即座に返答 → コストゼロ、レイテンシも激減

実装事例では、キャッシュヒット率90%超、APIコスト最大95%削減という数字が報告されている。応答速度も数秒→数十ミリ秒に短縮される。

中小企業の現場で考えてみてほしい。

• カスタマーサポートで聞かれる質問の8割は似たような内容
• 社内のナレッジ検索で投げられるクエリもパターンは限られる
• 日報の要約、議事録の整理、メールの下書き——繰り返しだらけだ

繰り返しの多い業務ほど、キャッシュの効果は劇的に出る。 そしてそれは、まさに中小企業の日常業務そのものだ。

—

月10万円を月2万円にする——今週やるべき5つのこと

理屈はわかった。で、結局どうすればいいのか。

今月中にできる、具体的なアクションを5つ挙げる。

1. API利用ログを出して「同じ質問率」を測れ

まず現状把握。OpenAIでもAnthropicでも、API利用ログは取れる。過去1ヶ月のリクエストを分析し、「意味的に類似したクエリがどれだけあるか」を確認する。体感で言えば、業務利用の6〜8割は類似クエリだ。この数字がわかるだけで、キャッシュ導入の費用対効果が見える。

2. セマンティックキャッシュを入れる

GPTCacheやLangChainのキャッシュ機能など、オープンソースの選択肢がある。RedisやPostgreSQLのベクトル拡張と組み合わせれば、導入コストはほぼゼロ。エンジニアが1人いれば、1〜2日で検証環境は作れる。エンジニアがいなければ、外注しても10〜20万円で済む。月10万円のAPI費用が月1〜2万円になるなら、1〜2ヶ月で回収できる。

3. 「最上位モデル」を本当に使う必要があるか再評価する

GPT-4oの入力トークン単価は、GPT-4o-miniの約20倍。Claude 3.5 SonnetとHaikuでも大きな価格差がある。日報の要約やメール下書きに最上位モデルは要らない。タスクごとにモデルを使い分けるだけで、コストは半分以下になる。

4. 「Nbreak（損益分岐リクエスト数）」を計算する

キャッシュの導入コスト、モデル切り替えの工数、セルフホスティングの月額費用。それぞれについて、「何リクエストで元が取れるか」を計算する。多くの場合、月間1,000リクエスト以上あれば、キャッシュ導入は即ペイする。月間100リクエスト程度なら、そもそもProプラン1アカウントで十分かもしれない。

5. 「誰が何にいくら使っているか」を可視化する

これが一番重要で、一番やられていない。API費用を部署別・用途別に分解するだけで、「この部署、月3万円分のAPIを議事録要約だけに使っている」といった事実が見える。見えれば直せる。見えなければ永遠に垂れ流す。

—

「AIが安くなる」ことの本当の意味

最後に、コスト削減の「その先」を考えたい。

AIのコストが10分の1になると、何が起きるか。

「大企業しか使えなかったAI」が、従業員5人の会社でも使えるようになる。

これまで月100万円かけてAIチャットボットを運用していた大企業と、同等の顧客対応を月1〜2万円でできるようになる。300万円かけて作っていた社内ナレッジシステムが、5万円で構築できるようになる。

コストが下がった先にあるのは、「規模の優位性」の消滅だ。

大企業が100人のチームで回していた業務を、中小企業が3人＋AIで回す。これは夢物語ではなく、すでに起きている現実だ。ただし、それは「コストが下がったことに気づいて、仕組みを変えた会社」だけの話だ。

今週出た3つのニュースは、「AIは高い」という最後の言い訳を消しにきている。

問いはシンプルだ。あなたの会社は、まだ去年の値段で今年のAIを使い続けるのか。

まず、今月のAPI請求書を開くところから始めてほしい。

—