LLMコスト10分の1のルーティング技術が出た——「全部GPT-4o」をやめるだけで年間300万円浮く

月額30万円、年間360万円。

「とりあえずGPT-4oに全部投げてる」中小企業が、いま払っているLLMの利用料がこのレンジだ。社内の問い合わせ対応、議事録の要約、メールの下書き、データの整形——全部同じモデルに突っ込んでいる。

これ、冷静に考えるとおかしい。

「ちょっとした要約」と「複雑な契約書レビュー」を同じモデルで処理する必要があるのか？　スーパーに軽トラで行くのに、毎回10トントラックを出しているようなものだ。

ここに来て、このムダを構造的に潰す技術が3つ同時に出てきた。スマートモデルルーティング、DeepSeek Flash v4.1、Squeeze10-LLMによる1ビット量子化。どれも方向性は同じで、「必要な処理に、必要なだけのモデルを当てる」という思想だ。

結論から言う。これらを組み合わせれば、LLMの月額コストは30万円から3〜5万円に落ちる。年間で300万円以上の削減。しかも品質はほぼ落ちない。

—

「全部GPT-4o」の何が問題か

まず現状を整理する。

GPT-4oの入力トークン単価は2500円/100万トークン、出力は1万円/100万トークン（2024年時点のOpenAI公式価格）。一方、GPT-4o miniは入力2250円/100万トークン、出力9000円/100万トークン。単価で15〜17倍の差がある。

にもかかわらず、多くの中小企業は「GPT-4oの方が賢いから」という理由だけで、全タスクにGPT-4oを使っている。

実際、企業のLLM利用を分析すると、タスクの約70〜80%は「簡単な処理」だ。定型文の生成、FAQの回答、フォーマット変換、簡単な要約。これらはGPT-4o miniやさらに軽量なモデルで十分に対応できる。残りの20〜30%だけが、GPT-4oクラスの推論能力を必要とする。

つまり、8割のタスクに対して15倍以上のコストを払っている。これが「全部GPT-4o問題」の正体だ。

—

スマートモデルルーティング——タスクを振り分けるだけで10分の1

スマートモデルルーティングは、入力されたタスクの難易度や種類を自動判定し、最適なモデルに振り分ける技術だ。

仕組みはシンプルで、軽量な分類モデル（ルーター）がまずリクエストを受け取り、「これは簡単なタスクだからminiモデルへ」「これは複雑だからGPT-4oへ」と振り分ける。ルーター自体のコストはほぼゼロに近い。

具体的な数字で見る。

• 月間100万リクエストの企業を想定
• 全件GPT-4o：月額約30万円
• ルーティング導入後（80%をmini、20%をGPT-4o）：月額約5万円

コスト6分の1。年間で300万円の差。

しかも、ルーティングの精度は近年の研究で急速に上がっている。適切に設計されたルーターは、タスクの95%以上を正しく振り分けられるという報告もある。「簡単なタスクにGPT-4oを使ってしまう」ミスはほぼ起きず、「難しいタスクをminiに回してしまう」リスクも最小限だ。

ポイントは、品質を落とさずにコストだけが落ちること。ユーザーから見れば、返ってくる回答の質は変わらない。裏側でモデルが切り替わっているだけだ。

—

DeepSeek Flash v4.1——KVキャッシュ437分の1の衝撃

もう一つの大きな動きが、DeepSeek Flash v4.1の登場だ。

このモデルの最大の特徴は、100万トークンのコンテキストウィンドウを持ちながら、グローバルKVキャッシュのフットプリントがわずか890バイトという点。従来モデルの約437分の1だ。

これが何を意味するか。

LLMの推論コストの大部分は、KVキャッシュ（過去の入力を記憶するためのメモリ領域）が占めている。長い文脈を扱うほどKVキャッシュは膨らみ、GPUメモリを圧迫し、処理速度が落ち、コストが上がる。

DeepSeek Flash v4.1は、このボトルネックを構造的に解消した。552Bのバックボーンパラメータを持つ大規模モデルでありながら、メモリ消費が桁違いに少ない。

中小企業にとっての実益はこうだ。

• 長い文書の処理が安くなる：契約書、マニュアル、議事録など、数万トークンの入力でもコストが跳ね上がらない
• 同時処理数が増える：少ないGPUメモリで多くのリクエストを捌ける
• セルフホスティングの現実性が上がる：自社サーバーやクラウドGPUでの運用コストが大幅に下がる

月額コストの目安としては、GPT-4oと同等の処理をDeepSeek Flash v4.1で行った場合、API利用で50〜70%のコスト削減が見込める。月額30万円が10〜15万円になるイメージだ。

ただし、これ単体で使うよりも、前述のルーティングと組み合わせる方が効果は大きい。

—

Squeeze10-LLM——1ビット量子化でモデルを10分の1に圧縮

3つ目がSqueeze10-LLM。これはモデルの重みを10倍圧縮する量子化技術だ。

通常、LLMの重みは16ビット（FP16）で保存されている。Squeeze10-LLMは、重みの80%を1ビット、残り20%を4ビットに量子化する。平均ビット幅は1.6ビット。16ビットから1.6ビットへ、ちょうど10分の1だ。

「そんなに圧縮したら精度がボロボロになるのでは？」という疑問は当然だ。しかし、研究結果によれば、従来の1ビット量子化手法が精度43%だったのに対し、Squeeze10-LLMは56%まで改善している。まだFP16の精度には届かないが、簡単なタスクには十分使えるレベルだ。

この技術が中小企業にとって意味するのは、「自社で動かせるLLM」の敷居が劇的に下がることだ。

• 70Bパラメータのモデルが、従来140GBのGPUメモリを必要としていたのが、14GB程度で動く
• つまり、数万円のGPU1枚で大規模モデルが動く
• クラウドAPI不要。データを外に出さなくていい。月額課金もない

セルフホスティングで運用すれば、初期投資（GPU購入）を除けば、月額の推論コストは電気代込みで3万円以下も現実的だ。

—

月額コスト比較——数字で見る現実

全件GPT-4oの年間360万円が、ルーティング＋適切なモデル選択で36〜60万円になる。 差額は年間300万円。5年で1,500万円。中小企業にとって、この差は人を1人雇えるかどうかの差だ。

—

で、結局どうすればいいのか

「3つの技術を全部入れろ」と言いたいわけではない。

まずやるべきことは1つだけ。自社のLLM利用ログを見て、タスクの難易度分布を把握することだ。

• 全リクエストのうち、GPT-4oクラスが本当に必要なのは何割か？
• 定型的な処理（要約、分類、整形）が何割を占めているか？
• 1リクエストあたりの平均トークン数はいくつか？

これが分かれば、ルーティングの導入効果が具体的な金額で見える。多くの場合、「8割は軽量モデルで十分」という結論になるはずだ。

次のステップとして、以下の順で検討するのが現実的だ。

1. ルーティング導入（最も手軽で効果が大きい。既存のAPI構成に薄いレイヤーを挟むだけ）
2. DeepSeek Flash v4.1の検証（長文処理が多い企業は特に効果大）
3. Squeeze10-LLMでのセルフホスティング検討（データを外に出したくない、月額課金をゼロにしたい企業向け）

—

本当の話をしよう

LLMのコストは、これからさらに下がる。モデルの効率化競争は始まったばかりで、半年後にはまた桁が変わる可能性がある。

だからこそ、今の時点で「全部GPT-4o」に固定してしまうのは最悪の戦略だ。特定のモデルに依存するのではなく、「タスクに応じてモデルを切り替える」という構造を先に作っておくことが重要になる。

ルーティングの仕組みさえあれば、新しいモデルが出るたびに差し替えるだけでいい。モデルは消耗品、ルーティングはインフラ。この発想の転換が、中小企業のAIコストを根本から変える。

300万円浮いたら何に使うか。人を雇うか、新規事業に投資するか、それとも次のAI実験に回すか。

その判断ができること自体が、中小企業の強みだ。大企業のように稟議を3ヶ月回す必要はない。来週から変えられる。

まずは自社のLLM利用ログを開くところから始めてほしい。

—