推論コスト1/100時代——「あの人がいないと回らない」が終わる日
Related Articles

「あの人がいないと回らない」が、いよいよ終わる
マニュアル作成、問い合わせ対応、見積作成。
中小企業の現場には「あの人しかできない仕事」が山ほどある。社長の頭の中にしかない見積ロジック、ベテラン社員だけが知っている対応マニュアル、退職したら誰も引き継げない業務フロー。
この「属人化」こそ、中小企業の最大のリスクだ。
そして今、このリスクを根こそぎ壊す条件が揃いつつある。LLM(大規模言語モデル)の推論コストが、この2年で文字通り1/100以下に落ちたからだ。
2023年初頭、GPT-4クラスのモデルで100万トークン処理するのに約3,000〜6,000円かかっていた。2025年6月現在、GPT-4.1 miniで同じ処理が約40円。DeepSeek-V3なら約30円。コストが100分の1になったとき、何が起きるか。 それは「使えるかどうか」の議論が終わり、「使わない理由がない」フェーズに入ったということだ。
なぜここまでコストが落ちたのか——3つの技術を30秒で理解する
技術の詳細に深入りしても仕方ない。中小企業の経営者が押さえるべきは「何が安くなって、なぜ安くなったか」だけだ。ポイントは3つ。
① 4ビット量子化——モデルを「軽くする」技術
LLMの脳みそ(パラメータ)は数字の塊だ。従来は1つの数字を32ビット(32桁の0と1)で表現していた。これを4ビットまで圧縮する。精度は若干落ちるが、実用上ほぼ問題ないレベルで、必要なメモリが約1/8になる。120億パラメータのモデルでも、メモリ使用量が約35%削減され、高価なGPUが不要になる(LoopKV研究より)。つまり、動かすためのハードウェアコストが激減する。
② KVキャッシュ圧縮——「同じ計算を繰り返さない」技術
LLMは文章を生成するたびに、過去の文脈を記憶する「キャッシュ」を使う。このキャッシュが肥大化するとメモリを食い、コストが上がる。FlagRotなどの研究では、このキャッシュを賢く圧縮することで、回答精度を維持したままコストを最大41%カットできることが実証されている。同じ品質の回答を、より少ないリソースで出せるようになった。
③ オンポリシー蒸留——「大きいモデルの知恵を小さいモデルに移す」技術
GPT-4クラスの巨大モデル(教師モデル)に問題を解かせ、その回答パターンを小さなモデル(生徒モデル)に学習させる。生徒モデルは教師の1/10以下のサイズでも、特定業務なら教師に迫る精度を出せる。汎用の大型モデルを使い続ける必要がなくなり、自社業務に特化した「小さくて安いAI」を持てるようになった。
この3つが組み合わさった結果、推論コストは1/100どころか、用途によっては1/200以下まで落ちている。
で、結局いくらになるのか——3業務の月額コスト試算
抽象論はここまでだ。地方の中小企業で実際に多い3つの業務について、具体的な数字で試算する。
1. マニュアル作成:月50万円 → 月8,000円
製造業や建設業で多いのが、業務マニュアルの作成・更新だ。ベテラン社員にヒアリングして、Word で整形して、上長に確認して……。外注すれば1件1万円、社内でやっても人件費換算で1件あたり8,000〜10,000円はかかる。月50件作れば50万円だ。
これをLLMで仕組み化するとどうなるか。
- ベテラン社員の作業を動画 or 音声で録画
- Whisper等の音声認識で文字起こし(ほぼ無料)
- LLMでマニュアル形式に整形(1件あたり約3,000〜5,000トークン)
- GPT-4.1 miniの場合、1件あたりの推論コストは約0.2〜0.5円
月50件で推論コストは約10〜25円。音声認識やストレージを含めても月額8,000円以下に収まる。チェック工程に人間を入れても、従来の1/50以下だ。
ポイントは「ベテランの知識がテキストデータとして残る」こと。その人が辞めても、マニュアルは残り、更新もLLMが下書きしてくれる。属人化が構造的に消える。
2. 問い合わせ対応:月100万円 → 月1.5万円
「電話とメールで同じ質問に何度も答えている」——中小企業あるあるだ。月1,000件の問い合わせがある会社で、1件あたりの対応コストが人件費込みで約1,000円とすると、月100万円。パート社員を2人雇っているようなものだ。
LLMベースのチャットボット+RAG(社内文書検索)で自動化すると:
- 問い合わせの70〜80%は定型的な質問(納期確認、仕様確認、手続き方法など)
- これらをLLMが自動回答。1件あたり約2,000トークンとして、推論コストは約0.08〜0.15円
- 月700件の自動回答で推論コストは約56〜105円
- RAGのベクトルDB運用やホスティング込みで月額1〜1.5万円
残り300件の複雑な問い合わせだけ人間が対応する。人間は「判断が必要な仕事」に集中できる。 しかも、自動回答のログが溜まるので、FAQの精度は使うほど上がる。
3. 見積作成:月25万円 → 月5,000円
「見積は社長しか出せない」「あの営業マンが辞めたら見積ロジックがわからない」。中小企業で最も属人化しやすい業務の一つだ。
月20件の見積作成、1件あたり人件費込みで12,500円(作成2時間×時給換算)とすると月25万円。
LLMで仕組み化する場合:
- 過去の見積データ(品目・数量・単価・条件・最終金額)をCSVで整理
- LLMに見積ロジックを学習させ、新規案件の条件を入力すると見積書ドラフトを自動生成
- 蒸留技術で自社見積に特化した小型モデルを作れば、推論コストはさらに1/10以下
- 1件あたりの推論コストは約1〜3円。月20件で約20〜60円
- フォーマット整形ツールやホスティング込みで月額3,000〜5,000円
最終確認は人間がやる。だが「ゼロから作る」のと「ドラフトを確認・修正する」のでは、所要時間が10分の1になる。社長の頭の中にしかなかったロジックが、データとして会社の資産になる。
コスト比較まとめ
| 業務 | 従来の月額コスト | LLM活用後の月額コスト | 削減率 |
|---|---|---|---|
| マニュアル作成(月50件) | 約50万円 | 約8,000円 | 98%減 |
| 問い合わせ対応(月1,000件) | 約100万円 | 約1.5万円 | 98%減 |
| 見積作成(月20件) | 約25万円 | 約5,000円 | 98%減 |
| 合計 | 約175万円 | 約2.8万円 | 98%減 |
「大企業の真似」ではない。中小企業だからこそ効く理由
ここで重要なのは、これは大企業向けの話ではないということだ。
大企業はすでに専門部署があり、マニュアルも整備され、コールセンターも外注している。つまり「属人化」の痛みが相対的に小さい。
一方、中小企業は違う。10人の会社で1人が辞めたら、売上の10%が消えかねない。属人化のダメージが致命的だからこそ、LLMによる仕組み化のインパクトも桁違いに大きい。
しかも、中小企業は意思決定が速い。「来週から試してみよう」が通る。大企業なら稟議に3ヶ月かかる導入が、中小企業なら3日で始められる。スピードこそ中小企業の最大の武器だ。
じゃあ、明日から何をすればいいのか
- まず1つ、「あの人しかできない業務」を選ぶ。 マニュアル作成でも、問い合わせ対応でも、見積でもいい。
- その業務の「入力と出力」を言語化する。 何を入れたら何が出てくるのか。これが定義できれば、LLMに任せられる。
- 小さく試す。 ChatGPTでもClaude でもいい。月額2,000円のサブスクで、まず10件やってみる。精度が7割でも、下書きがあるだけで作業時間は半分になる。
- うまくいったら、APIに切り替えて自動化する。 ここで初めて量子化や蒸留の恩恵が効いてくる。月額数千円で、24時間365日動く「もう一人の社員」が手に入る。
推論コストが1/100になったということは、「試すコスト」も1/100になったということだ。失敗しても痛くない。だったら、やらない理由がない。
「あの人がいないと回らない」——その状態を放置するリスクのほうが、よほど高くついている。
—
JA
EN