月10万円のトークン代、本当にそのまま払い続けますか？

GPT-4oやClaude 3.5を業務に組み込む中小企業が増えた。見積書の自動生成、問い合わせ対応、議事録要約——便利になった一方で、じわじわ膨らむのがトークン代だ。

月5万〜15万円。大企業なら誤差だが、従業員10人の会社には「もう一人分の通信費」に等しい。

最近公開された研究が、このトークンコストを45〜79%削減できる7つの戦術を実測データ付きで示した。79%削減とは、月10万円が約2万円になるということだ。しかも、そのうちいくつかは「今日の午後から試せる」レベルの施策である。

本記事では、論文の7戦術を「中小企業の現場で本当に使えるか」という視点で優先順位をつけ直し、具体的なコスト感と一緒に解説する。

—

まず全体像：7つの戦術と削減率の目安

論文の並び順と、この記事の優先順位は違う。理由は単純で、「効果÷手間」が大きい順に並べ替えたからだ。中小企業にとって、導入に1ヶ月かかる施策より、今週できて月2万円浮く施策のほうが価値がある。

—

【最優先】今週やれる3つ

1. プロンプト圧縮——「長すぎるプロンプト」を半分にする

何をやるか： APIに送るプロンプトから、冗長な指示・重複する文脈・不要な例示を削ること。

多くの現場で見るのが「コピペで育ったプロンプト」だ。最初に誰かが書いた指示文に、トラブルのたびに注意書きが追加され、気づけば1回のリクエストが3,000トークンを超えている。そのうち半分は「念のため入れている」文章だったりする。

具体的なアクション：

• 今使っているプロンプトを全部書き出す
• 各プロンプトのトークン数を[tiktoken](https://github.com/openai/tiktoken)等で計測する
• 指示文を「結論→条件→制約」の順に整理し、重複を削る
• 削った版と元の版で出力品質を比較する（10件もやれば傾向が見える）

コスト感： GPT-4oの入力トークン単価は$2.50/100万トークン。月100万トークン使っている会社がプロンプトを40%圧縮すると、入力側だけで月$1.00、年$12.00の削減——と聞くと小さく感じるが、GPT-4o miniではなくGPT-4 Turboクラス（$10/100万トークン）を使っていて月500万トークン規模なら、年間で約$24,000（約360万円）が$14,400（約216万円）になる。年間144万円の差。これがプロンプトを整理するだけで出る。

2. セマンティックキャッシング——同じ質問に2回お金を払わない

何をやるか： 過去に似た質問が来たら、APIを呼ばずにキャッシュから返す。完全一致ではなく「意味的に近い」レベルでマッチングする。

社内チャットボットを運用していると気づくが、質問の7割は「ほぼ同じ内容の言い換え」だ。「有給の申請方法は？」「有休ってどうやって取るの？」「休暇申請の手順を教えて」——全部同じ回答でいい。なのに毎回APIを叩いている。

具体的なアクション：

• [GPTCache](https://github.com/zilliztech/GPTCache)やRedis + ベクトル検索で簡易キャッシュ層を構築
• 類似度の閾値を0.90〜0.95あたりで設定し、ヒット率と回答品質を1週間モニタリング
• ヒット率が30%を超えたら、その分のAPI呼び出しがゼロになる

コスト感： 問い合わせ対応で月200万トークン使っている会社。キャッシュヒット率40%なら月80万トークン分が浮く。GPT-4 Turboなら月$8、GPT-4oなら月$2——と思うかもしれないが、出力トークン（$10〜15/100万トークン）も含めると月$15〜25の削減になる。年間で約3〜4.5万円。小さく見えるが、導入コストがほぼゼロなのがポイントだ。キャッシュ用のRedisはfree tierで始められる。

3. バッチ処理＋ベンダープロンプトキャッシング——まとめて投げて、繰り返しを消す

何をやるか： リクエストを1件ずつ投げるのをやめて、まとめて投げる。さらにOpenAIやAnthropicが提供する「プロンプトキャッシング」機能を使い、共通のシステムプロンプト部分の課金を減らす。

OpenAIのBatch APIは50%割引で使える。リアルタイム性が不要な処理——日次レポート生成、商品説明文の一括作成、翌朝までに終わればいい分析——はすべてバッチに回せる。

Anthropicのプロンプトキャッシングは、共通のシステムプロンプト（1,024トークン以上）を自動キャッシュし、2回目以降は90%割引で読み込む。毎回同じ「あなたは〇〇のカスタマーサポート担当です。以下のルールに従って…」を送っているなら、そこが9割引になる。

コスト感： 月500件の商品説明文をGPT-4oで生成している会社。1件あたり平均2,000トークン（入力＋出力）として月100万トークン。Batch APIに切り替えるだけで月$1.25が$0.63に。年間で約$7.5（約1,100円）の削減——規模が小さいとこの程度だが、月5,000件・1,000万トークン規模なら年間$75（約1.1万円）。さらにプロンプトキャッシングと組み合わせると、共通プロンプト部分（全体の30〜50%を占めることが多い）が9割引になるため、合計で30〜50%のコスト削減が見込める。

—

【次のステップ】仕組みを作れば効く2つ

4. ミニマルディフ編集——「全文書き直し」をやめる

文章の修正をLLMに頼むとき、「この文章を改善して」と全文を投げていないだろうか。変更が必要なのは3行だけなのに、全文を入力し、全文を出力させている。入力も出力もトークン課金だ。

やるべきこと： 変更箇所だけをJSON形式で指示し、差分だけを返させる。「3段落目の主語を変更し、5段落目の数値を更新して」と指示すれば、入出力ともにトークン数が激減する。

プロンプト例：
“`
以下のJSONで指定された箇所のみ修正し、修正箇所のみをJSON形式で返してください。
{“changes”: [{“paragraph”: 3, “action”: “主語を’弊社’から’当社’に変更”}, {“paragraph”: 5, “action”: “売上を1.2億から1.5億に更新”}]}
“`

全文を投げると入力3,000トークン＋出力3,000トークン＝6,000トークン。差分指示なら入力500トークン＋出力200トークン＝700トークン。88%削減。これが1日20回発生する現場なら、月間で（6,000−700）×20×22日＝233万トークンの節約になる。

5. ローカルドラフト＋クラウドレビュー——下書きは安いモデルで

構造： ローカルまたは安価なモデル（GPT-4o mini、Gemini Flash、ローカルLlama等）でまず下書きを作り、高価なモデル（GPT-4 Turbo、Claude 3.5 Sonnet等）には「チェックと修正」だけを頼む。

GPT-4o miniの入力単価は$0.15/100万トークン。GPT-4 Turboは$10/100万トークン。約67倍の価格差がある。下書きの8割がそのまま使えるなら、高価なモデルが処理するトークン量は2割で済む。

導入にはルーティングの仕組みが必要なので★★★としたが、LangChainやLiteLLMを使えば数日で組める。月のトークン代が10万円を超えている会社なら、真っ先に検討すべき構造だ。

—

【中期的に検討】効くが設計が必要な2つ

6. 構造化インテント抽出

ユーザーの自由入力をそのままLLMに投げるのではなく、まず意図（インテント）を分類し、テンプレート化された処理に振り分ける。「見積もりが欲しい」→見積もりフロー、「納期を知りたい」→在庫照会フロー、といった具合だ。

インテント分類自体は小型モデルやルールベースでできる。分類後のフローではLLMを使わない（またはトークン消費が少ない定型処理で済む）ケースが増えるため、全体のトークン量が減る。

7. ローカルルーティング

論文では最も削減率が高い戦術だが、ローカルにGPUサーバーを置く必要がある。NVIDIA T4搭載の中古サーバーが15〜20万円で手に入る時代とはいえ、中小企業が「まず試す」にはハードルが高い。

ただし、Mac mini M4（約10万円）でLlama 3.1 8Bが実用速度で動くという現実もある。社内の定型質問（FAQ対応、フォーマット変換等）をローカルに逃がし、クラウドAPIの呼び出しを半減させた事例も出始めている。月のAPI代が5万円を超えたら、ローカルモデル併用の損益分岐を計算してみる価値がある。

—

結局、どこから手をつけるか

今日やること：
1. 今使っているプロンプトを全部棚卸しし、トークン数を計測する
2. 冗長な部分を削る（プロンプト圧縮）
3. リアルタイム不要の処理をBatch APIに切り替える

今月やること：
4. セマンティックキャッシュを入れてヒット率を計測する
5. 「全文書き直し」を差分指示に変える運用ルールを決める

来月以降：
6. 安価モデルで下書き→高価モデルでレビューの2段構成を組む
7. ローカルモデルの損益分岐を試算する

この順番で進めれば、最初の1週間でプロンプト圧縮＋バッチ化だけで20〜40%のコスト削減が見込める。月10万円の会社なら、2〜4万円が浮く。年間24〜48万円。中小企業にとっては、パート1人分の人件費に相当する金額だ。

—

本質は「トークンを減らす」ではない

ここまで読んで「で、うちは月いくら使ってるんだっけ？」と思った方。その時点で、すでに一歩前に出ている。

多くの中小企業がLLMを導入したものの、月にいくらトークンを消費しているか把握していない。把握していないから最適化もできない。まず計測する。それだけで景色が変わる。

そしてこの7つの戦術が示しているのは、単なる節約術ではない。「何をクラウドに頼み、何をローカルで済ませ、何をキャッシュで返すか」という設計思想だ。この設計ができる中小企業は、大企業が潤沢な予算でAPIを叩きまくるのとは違う戦い方ができる。

限られた予算で最大の成果を出す。それは昔から中小企業が得意としてきたことだ。AIの時代でも、それは変わらない。

—