結論から言う。「API代が高い」はもう言い訳にならない

GPT-4oやClaude 3.5に月20万円払っている中小企業は少なくない。問い合わせ対応、議事録要約、コード生成——便利だが、トークン単価は確実に積み上がる。年間240万円。社員1人分の人件費だ。

この構造が、いま壊れ始めている。

4Bパラメータ（約40億パラメータ）クラスの小型モデルが、特定タスクにおいてフロンティアLLMと遜色ない性能を出し始めた。自社端末やクラウドの小型GPUで動かせば、月2万円以下で回る。年間24万円。差額216万円。これが「小型モデルへの乗り換え」のリアルな数字だ。

問いはシンプル。「あなたの業務に、本当にGPT-4oが必要か？」

—

Terminus-4Bが示した「4Bで十分」の証拠

最近公開された「Terminus-4B」は、Qwen3-4Bをベースにファインチューニングされた小型モデルだ。注目すべきは、エージェント的な実行タスク——つまり、ツール呼び出しや多段推論を含む複合タスク——において、フロンティアモデルに迫るスコアを叩き出している点にある。

具体的な数字を見よう。

• メインエージェントのトークン使用量を30%削減しつつ、主要ベンチマークでの性能低下なし
• サブエージェントとして使う場合、上位モデルの「手足」として動く精度が十分に確保されている

これが何を意味するか。

たとえば、社内チャットボットでの問い合わせ対応を考えてほしい。ユーザーの質問を分類し、FAQから回答を引き、足りなければ社内ドキュメントを検索して要約する。この一連の流れに、本当に700Bクラスのモデルが必要か。4Bモデルで分類と検索を捌き、本当に難しい判断だけ上位モデルに投げる。この「階層化」だけで、API呼び出し回数は半分以下になる。

月20万円のうち、7割が「4Bで代替可能なタスク」だったとしたら？ API代は月6万円まで下がる。さらに、その4B部分を自社で動かせば、月2万円のGPUコスト（たとえばRTX 4060搭載の中古PCか、クラウドの小型インスタンス）で済む。合計月8万円。年間で144万円の削減だ。

全部を小型モデルに置き換える必要はない。「どこまでを小型で捌けるか」を見極めることが、損益分岐点の本質だ。

—

自社で動かすなら知っておくべき「推論のボトルネック」

「じゃあ、小型モデルを自社のPCで動かそう」——その判断は正しい。ただし、落とし穴がある。

モバイルNPU（ニューラルプロセッシングユニット）やエッジデバイスでLLMを動かす場合、プレフィリング（入力の処理）とデコーディング（出力の生成）で、最適なハードウェアが異なるという問題がある。

最近の研究（PowerBenchプロジェクト）が明らかにした事実はこうだ。

• プレフィリング（計算バウンド）：NPUが得意。大量のトークンを一括処理する場面ではGPU/NPUが圧倒的に速い
• デコーディング（メモリバウンド）：CPUが優位な場合がある。1トークンずつ生成する処理では、メモリ帯域がボトルネックになり、NPUの性能を活かしきれない

このミスマッチを放置すると、NPUで動かしているのにCPUより遅いという逆転現象が起きる。最悪で10倍のパフォーマンス差だ。

対策は2つある。

1. プレフィリングとデコーディングでハードウェアを切り替える（NPU→CPU、またはその逆）。PowerBenchのようなプロファイリングツールで自社ハードウェアの特性を計測し、最適な割り当てを見つける
2. スレッド数とNPUのスリープ設定を調整する。これだけでエネルギー消費を40%削減できたという報告がある

中小企業にとって重要なのは、「高いGPUを買えば解決する」わけではないということだ。手元にあるRTX 3060やRyzen AI搭載ノートPCでも、設定次第で実用的な速度が出る。「何を買うか」より「どう使うか」。ここが大企業との差を埋めるポイントになる。

—

量子化で「さらに半分」にできる

もう一つ、コストを劇的に下げる技術がある。量子化だ。

FPTQuantという最新の量子化手法は、モデルの重みを32ビット浮動小数点から4ビット整数に圧縮する。モデルサイズは約8分の1になる。それでいて、出力精度の劣化を最小限に抑える。

数字で言うとこうなる。

• 推論速度：最大3.9倍に向上
• 必要VRAM：4Bモデルなら約2〜3GBで動作可能
• 精度低下：多くのベンチマークで1〜2%以内

これが現場にとって何を意味するか。

VRAM 8GBのRTX 4060（中古で3〜4万円）で、量子化済みの4Bモデルが余裕で動く。電気代は月数百円。サーバーを立てる必要もない。事務所のデスクトップPCで、社内専用AIが24時間動く世界だ。

API依存から脱却すれば、データが社外に出ないというセキュリティ上のメリットもついてくる。顧客情報を含む問い合わせ対応や、社内の機密文書の要約。「外部APIに投げたくない」業務こそ、自社小型モデルの出番だ。

—

損益分岐点を計算してみる

具体的に試算しよう。

現状（フロンティアLLM API利用）

• 月額API費用：20万円
• 年間コスト：240万円
• 追加投資：なし

パターンA：全タスクを小型モデルに置き換え

• 初期投資：GPU搭載PC 10〜15万円（中古可）
• 月額運用費：電気代＋保守で約2万円
• 年間コスト：24万円＋初期投資15万円＝初年度39万円、2年目以降24万円
• 初月から黒字。初年度で201万円削減

パターンB：7割を小型モデル、3割を上位APIで処理

• 初期投資：同上 15万円
• 月額運用費：小型モデル2万円＋API 6万円＝8万円
• 年間コスト：96万円＋初期投資15万円＝初年度111万円
• 初年度で129万円削減。品質リスクも低い

パターンBが現実的だろう。全置き換えはリスクがある。だが、「まず7割を小型で捌く」だけで年間129万円浮く。この金額は、中小企業にとって新規採用1人分に近い。

損益分岐点は明確だ。月のAPI代が5万円を超えているなら、小型モデルの導入を検討する価値がある。3万円以下なら、まだAPIのままでいい。この閾値は、量子化技術とハードウェアの進化で、今後さらに下がっていく。

—

で、結局どうすればいいのか

3つのステップを提案する。

1. まず、自社のAPI利用を「タスク別」に分解する
問い合わせ分類、要約、翻訳、コード生成——タスクごとにトークン消費量を出す。大半の企業で、8割のトークンが「実は簡単なタスク」に使われていることに気づくはずだ。

2. 簡単なタスクから小型モデルに置き換える
Terminus-4BやQwen3-4B、Phi-4-miniあたりを量子化して、手元のPCで試す。HuggingFaceからダウンロードして、Ollamaで動かすだけ。1時間あれば検証できる。

3. 「上位モデルに投げる基準」を決める
小型モデルの出力に信頼度スコアをつけ、閾値以下なら上位APIにフォールバックする仕組みを作る。これだけで、コストと品質のバランスが取れる。

—

構造が変わる。だから今やる

この話の本質は「APIが高い」ではない。「小型モデルの性能が、実用ラインを超えた」ということだ。

半年前なら、4Bモデルでエージェントタスクを回すのは無謀だった。今は違う。Terminus-4Bの結果が示すように、ファインチューニングと量子化の進化が、小型モデルの実用性を一気に引き上げた。

大企業は巨大モデルを自社学習させる体力がある。中小企業にはない。だが、「公開されている小型モデルを、自社の業務に合わせてチューニングし、自社端末で動かす」——これは中小企業のほうが小回りが利く。意思決定が速い。試すのに稟議がいらない。

月20万のAPI代を払い続けるか、週末に4時間使って小型モデルを試すか。

答えは明らかだと思う。

—