LLMの「1回いくら」が見えてきた——中小企業は自前で持つべきか、APIで借りるべきか
Related Articles

結論から言う。LLMの推論コストは「見える化」できる時代に入った
LLMを1回動かすのに、いくらかかるのか。
この問いに対して「だいたいこのくらい」ではなく、電力トレースレベルで予測できる研究が出てきた。これは中小企業にとって、かなり大きい話だ。
なぜか。「API利用と自社推論、どっちが安いか」を、感覚ではなく数字で判断できるようになるからだ。月に数万円のAPI代を払い続けるのか、GPUサーバーを自前で回すのか。この選択を間違えると、年間で数十万〜数百万円の差が出る。中小企業にとって、この差は利益そのものだ。
「1トークンいくら」の内訳が見えてきた
最近発表された研究(LLM-PowerTraceデータセット)は、GPU上でLLMを動かしたときの電力消費を、時間分解能で記録・公開したものだ。ここから見えてきた構造はシンプルで重要だ。
- 出力トークン数に対して、計算時間とエネルギー消費はほぼ直線的に増える
- 入力トークン数に対しては、線形〜二乗で増える
つまり、「長い指示文を送って、短い回答を返させる」のと「短い指示文で、長い文章を生成させる」のでは、コスト構造がまったく違う。
具体的に考えてみよう。たとえばGPT-4クラスのモデルをAPI経由で使う場合、入力1,000トークン+出力500トークンの1リクエストあたりのコストは、おおよそ3〜5円程度だ(2024年後半のOpenAI価格帯)。これが1日500件なら1,500〜2,500円。月に換算すると約4.5万〜7.5万円。
一方、GPT-4oやClaude 3.5 Sonnetのような最新モデルでは、入力トークン単価が大幅に下がっている。同じ条件で月1〜3万円に収まるケースもある。
ここで問いが立つ。「月3万円のAPI代を払い続けるのと、自社でオープンソースLLMを動かすのと、どっちが得か?」
自社推論の「本当のコスト」を分解する
自社でLLMを動かす場合のコストを、ざっくり分解する。
1. ハードウェア初期投資
- NVIDIA RTX 4090搭載のワークステーション:約50〜70万円
- NVIDIA A100(クラウドGPU):時間あたり約300〜500円(AWSやGCPの場合)
2. 電力コスト
- RTX 4090の消費電力:約450W(推論時はフル稼働しないが、300W前後は使う)
- 1日8時間稼働で約2.4kWh。電気代を30円/kWhとすると、1日約72円。月約2,200円
- これはGPU単体の話。サーバー全体では1.5〜2倍になる
3. 運用・保守コスト
- セットアップの人件費(初回のみだが、最低でも数日〜数週間)
- モデルのアップデート対応
- 障害対応
4. 動かせるモデルの制約
- RTX 4090(VRAM 24GB)で動くのは、7B〜13Bパラメータクラスが現実的
- 70Bクラスを動かすにはA100×2枚以上、初期投資は数百万円〜
ここで見えてくるのは、月のリクエスト数が少ないうちはAPIのほうが圧倒的に安いということだ。
損益分岐点を概算してみる。
- API利用コスト:月5万円(GPT-4oクラス、中程度の利用量)
- 自社推論コスト:初期投資60万円+月間電力・保守で約1万円
初期投資の回収だけで12ヶ月以上かかる。しかも自社推論で動かせるのは7B〜13Bクラスのオープンソースモデルで、GPT-4oと同等の品質は出ない。
つまり、「安いから自前で持つ」は、ほとんどの中小企業にとって罠だ。
じゃあ、自社推論が勝つのはどんな場合か
ただし、逆転するケースがある。
ケース1:リクエスト数が爆発的に多い場合
月に数十万〜数百万リクエストを処理する場合、API代は月数十万円〜数百万円に膨れ上がる。この規模なら、自社推論のほうがトータルコストは下がる。たとえば社内チャットボットを全社員500人が毎日50回使うなら、月75万リクエスト。API代は月20〜50万円になりうる。ここまで来れば、自社サーバーの投資回収は半年以内だ。
ケース2:データを外に出せない場合
医療データ、個人情報、機密情報を扱う業務では、APIに投げること自体がリスクになる。この場合、コスト比較以前に自社推論一択だ。
ケース3:レスポンス速度が生命線の場合
API経由だとネットワーク遅延が入る。ローカル推論なら数十ミリ秒で返せる処理が、API経由だと数百ミリ秒〜数秒かかることもある。リアルタイム性が求められる製造ラインの異常検知などでは、自社推論が有利だ。
本当に注目すべきは「コストが下がった先」の話
ここからが本題だ。
LLMの推論コストは、過去2年で劇的に下がっている。GPT-4の入力トークン単価は、2023年3月の発表時から2024年末までに約10分の1以下になった。オープンソースモデルの性能も急速に上がり、Llama 3.1 70Bは多くのタスクでGPT-3.5を超える品質を出す。
この流れが意味するのは、「LLMを使うかどうか」はもう問いではないということだ。問いは「どこに、どう使うか」に移っている。
中小企業にとって現実的な打ち手を整理する。
月1万リクエスト以下 → APIで十分。GPT-4o miniやClaude 3.5 Haikuなら月数千円で済む。まずはここから始めて、効果を検証する。
月10万リクエスト前後 → API代が月5〜10万円になってくる。ここで初めて「自社推論に切り替えるか」の検討が始まる。ただし、運用の手間も含めてトータルで判断すること。
月100万リクエスト以上 → 自社推論のコストメリットが明確に出る。ただし、この規模の中小企業は限られる。
で、結局どうすればいいのか
3つだけ言う。
1. まずAPIで始めろ。 自社サーバーの検討は、API代が月10万円を超えてからでいい。それまでは、APIの従量課金のほうが圧倒的にリスクが低い。
2. トークン数を意識しろ。 入力プロンプトが長いほどコストは跳ね上がる。「とりあえず全文を投げる」ではなく、必要な情報だけを渡す設計にするだけで、コストは半分以下になることがある。
3. 月次でコストを計測しろ。 APIの利用量と費用を毎月記録する。これだけで「いつ自社推論に切り替えるべきか」の判断基準ができる。LLM-PowerTraceのようなデータセットを使えば、自社推論に移行した場合の電力コストも事前にシミュレーションできる。
LLMのコストは「なんとなく高そう」から「計算できるもの」に変わった。計算できるなら、判断できる。判断できるなら、動ける。
中小企業がAIで勝つのは、最新モデルを追いかけることじゃない。自社の利用量とコスト構造を正確に把握して、最も合理的な選択を取り続けることだ。それは大企業より中小企業のほうが、意思決定が速い分、実は有利だったりする。
—
JA
EN