結論から言う。AIの「使用料」という概念が崩壊しはじめている

GPT-4クラスのモデルを使うのに、月500ドル（約7.5万円）のAPI代を払っている中小企業は少なくない。問い合わせ対応、議事録要約、営業メール下書き——使えば使うほど請求が膨らむ従量課金モデルだ。

ところが、ここ数週間で発表された3つの技術を組み合わせると、120Bパラメータの大規模モデルが、15万円で買えるゲーミングPC（VRAM 16GB）の上で、秒間9〜19トークンで動くという現実が見えてきた。

月のランニングコストは電気代だけ。ざっくり1,500円。

「月7.5万円」が「月1,500円」になる。この落差の意味を、中小企業の経営者は真剣に考えたほうがいい。

—

何が起きたのか——3つの技術を30秒で

①RotaryQuant：120Bモデルを16GBに押し込む三軸圧縮

最新の研究「RotaryQuant」が提案したのは、Mixture-of-Experts（MoE）モデルの重みを層の役割ごとに異なるビット幅で量子化する手法だ。

• 密な層（常に使われる部分）→ 4ビット
• ルーティングされるエキスパート（必要なときだけ起動）→ 2ビット
• 共有エキスパート（全体で使い回す部分）→ 8ビット

「全部一律4ビットに圧縮」ではなく、精度が必要な場所にはビットを残し、使用頻度が低い場所は極限まで削る。結果として、120Bパラメータのモデルが16GB VRAMに収まり、トークン生成速度は9〜19トークン/秒。体感としては、ChatGPTの応答速度とほぼ同等だ。

ポイントは「120B」という数字。これはGPT-3.5の175Bには届かないが、現行のオープンソースMoEモデル（Mixtral 8x22Bなど）のクラスで、実用的なタスク——要約、分類、Q&A、コード生成——を十分にこなせる規模だ。

②SPECTRA：KVキャッシュを2ビットまで圧縮する

モデル本体をGPUに載せられても、推論中に膨らむKVキャッシュがメモリを食い尽くす問題があった。長い文書を読ませると、キャッシュだけで数GBに達する。

「SPECTRA」は、KVキャッシュの各チャンネルの重要度を統計的に分析し、重要なチャンネルには多くのビットを、重要でないチャンネルには少ないビットを割り当てる手法だ。従来の均一量子化では2ビットまで下げると精度が崩壊していたが、SPECTRAは座標系を回転させることで2ビット圧縮でも実用的な精度を維持する。

これにより、長文コンテキスト（32Kトークン以上）を扱う場合でもメモリ消費を大幅に抑えられる。契約書の全文レビューや、過去の議事録をまとめて読ませるような用途が、消費者GPUでも現実的になる。

③WebGPU最適化：ブラウザで動くLLMが「遅い」理由を潰す

3つ目は、ブラウザ上でLLMを動かすWebGPU推論の最適化研究だ。ボトルネックは計算量ではなく、GPUへの命令発行（ディスパッチ）のオーバーヘッドだった。1回のディスパッチに数百マイクロ秒かかり、それが数百回重なると秒単位の遅延になる。

この研究では、複数のオペレーションを融合してディスパッチ回数を減らすことで、ブラウザベースの推論速度を大幅に改善している。

つまり、専用サーバーすら不要で、社員のブラウザからローカルGPUでAI推論を走らせるという未来が見えてくる。ITインフラを持たない中小企業にとっては、これが最も現実的な導入パスになり得る。

—

中小企業の財布で損益分岐点を計算する

抽象論はここまで。実際に数字で検算しよう。

シナリオ：社員10人の会社で、AI要約・問い合わせ対応・メール下書きに使う

【パターンA：API利用（現状）】

使えば使うほど増える。繁忙期に問い合わせが増えれば請求も跳ねる。

【パターンB：ローカル推論（新技術活用）】

初年度で73万円の差。2年目以降は年間88万円の差。

損益分岐点は3ヶ月目だ。初期投資15万円を、月7.5万円のAPI代削減で回収する計算。3ヶ月目には元が取れて、4ヶ月目からは丸々コスト削減になる。

もちろん、セットアップの手間やモデル選定の試行錯誤はある。だが「300万円のサーバーを買って専任エンジニアを雇う」という話ではない。15万円のPCと、セットアップに2〜3日。この規模感なら「まずやってみる」の範囲だ。

—

「コストが下がる」の先に何が起きるか

ここからが本題だ。コストが50分の1になると、使い方そのものが変わる。

API従量課金のときは「本当に必要なときだけAIに投げる」だった。コスト意識が使い方を制限していた。

ローカル推論で月1,500円になると、「常時AIが動いている」が当たり前になる。

• 受信メールを全件自動分類して、緊急度と対応案を付けて通知する
• 日報を全文読んで、経営上のリスクシグナルを自動抽出する
• 顧客との電話内容をリアルタイムで要約し、CRMに自動入力する
• 見積書のドラフトを過去の類似案件から自動生成する

従量課金では「もったいない」と思っていた使い方が、全部「タダ同然」になる。

これは大企業より中小企業に有利な構造だ。大企業は既存のITインフラや契約の縛りがあり、切り替えに時間がかかる。中小企業は「来週から変える」ができる。意思決定の速さが、そのままコスト構造の優位性に変わる。

—

注意点：「動く」と「使える」の間にある溝

冷静に見ておくべきポイントもある。

1. 精度の問題
2ビット量子化は精度劣化を伴う。RotaryQuantの論文では、ベンチマーク上の精度低下は限定的とされているが、特定のドメイン（医療、法務など）では検証が必要だ。「社内の問い合わせ対応」レベルなら十分でも、「契約書の法的リスク判定」には慎重になるべきだろう。

2. モデルの選択肢
現時点でRotaryQuantが対応しているのはMoEアーキテクチャのモデルだ。すべてのオープンソースモデルに適用できるわけではない。ただし、Qwen、DeepSeek、MistralなどMoE系のモデルは急速に充実しており、実用上の選択肢は十分にある。

3. セットアップのハードル
Pythonの環境構築、モデルのダウンロード、量子化の実行——ITに詳しくない中小企業にとっては、ここが最大の壁だ。ただし、これは「仕組み化」で解決できる領域でもある。一度セットアップすれば、あとは動き続ける。

—

で、結局どうすればいいのか

3つのアクションを提案する。

① 今すぐ：自社のAPI利用料を正確に把握する
月にいくら払っているか、何トークン使っているか。これを知らないと損益分岐点が計算できない。月3万円以上払っているなら、ローカル推論への移行を検討する価値がある。

② 1ヶ月以内：16GB VRAM GPUで小さいモデルを動かしてみる
いきなり120Bを狙う必要はない。7B〜14Bクラスのモデル（Qwen2.5-7B、Llama 3.1-8Bなど）をOllamaやllama.cppで動かすだけなら、半日でできる。「自社のPCでAIが動く」という体験を、まず経営者自身がすること。

③ 3ヶ月以内：実業務で1つ、API→ローカルに切り替える
議事録要約でも、メール下書きでもいい。1つの業務をローカル推論に切り替えて、コスト差と品質差を実測する。数字で語れるようになれば、次の投資判断ができる。

—

まとめ：「AIの電気代」が経営判断の変数になる時代

120Bモデルが15万円のPCで動く。KVキャッシュは2ビットまで圧縮できる。ブラウザからローカルGPUで推論が走る。

これらは個別に見れば「技術の進歩」だが、組み合わせると「AIの利用コストが電気代だけになる」という構造変化を意味する。

月7.5万円が月1,500円になる。この差は、中小企業の年間利益に直接効いてくる金額だ。

大事なのは「すごい技術が出た」で終わらせないこと。自社の数字に当てはめて、損益分岐点を計算して、まず1台試す。技術の進化を待つ必要はない。動く環境は、もうある。

—