13Bモデルはトークン1個で26GB読む——「GPU代が高い」の正体を知れば、中小企業の打ち手が変わる
Related Articles

結論から言う。「GPU代が高い」の正体はメモリ帯域だ
AIの推論コストが高い。月額数十万のGPU代がかかる。中小企業には手が出ない——。
この話、よく聞く。だが「なぜ高いのか」を分解して説明できる人は少ない。
答えはシンプルだ。LLMの推論コストの大半は「計算」ではなく「メモリの読み出し」で決まっている。
13Bパラメータのモデルを動かすとどうなるか。1トークン生成するたびに、モデルの全パラメータ(約26GB分)をGPUメモリから読み出す必要がある。FP16(16ビット浮動小数点)で格納した場合、130億パラメータ × 2バイト = 約26GB。これが1トークンごとに発生する。
100トークンの回答を返すなら、2.6TB分のメモリ読み出しが走る。たった1回の応答で、だ。
GPUの演算性能は年々上がっている。だが、メモリ帯域の伸びはそれに追いつかない。A100のメモリ帯域は約2TB/s。つまり13Bモデルで1トークン生成するのに約13ミリ秒かかる計算になる。ここがボトルネックであり、GPU代が高い本当の理由だ。
「もっと速いGPUを借りればいい」は大企業の発想。中小企業が考えるべきは「26GBを読まなくて済む方法はないか?」だ。
打ち手①:量子化——26GBを6.5GBに圧縮する
まず最も直接的な手段が量子化だ。
FP16(16ビット)で26GBあるモデルを、INT4(4ビット)に量子化すれば約6.5GBまで縮む。メモリ読み出し量が4分の1になるから、同じGPUでも推論速度が約4倍になる。あるいは、同じ速度でいいなら安いGPUで動く。
最近注目されているのが「BitDecoding-FP4」という手法だ。従来の4ビット量子化は精度劣化が課題だったが、この技術ではFP4形式を使い、重要度の高いパラメータを選択的に高精度で保持する。論文上の報告では、FP16比で精度劣化を1〜2%以内に抑えつつ、メモリ使用量を約75%削減できるとされている。
具体的なコスト感で言うと、A100(80GB)1枚で月額約30万円のクラウドGPUを使っていたケースが、量子化によってA10G(24GB)1枚・月額約7〜8万円で同等の推論性能を出せる可能性がある。月額30万が8万。これだけで約1/4だ。
ただし注意点がある。量子化はモデルの精度を多少犠牲にする。社内FAQの回答や定型文の生成なら問題ないが、高度な推論や専門的な文書生成では品質チェックが必要だ。「自社の用途で許容できるか」を実際に試すしかない。
打ち手②:推論キャッシュ再利用——同じ質問に2度計算しない
次に効くのが「推論キャッシュの再利用」だ。
考えてみてほしい。社内チャットボットに寄せられる質問の何割が、過去に聞かれたことのある質問か? 経験上、7〜8割は似たような質問の繰り返しだ。毎回26GBを読み出して計算し直すのは、同じ料理を毎回ゼロから作るようなものだ。
「CPU-ARC(Adaptive Retrieval Cache)」という手法は、まさにこの無駄を潰す。過去の推論結果をCPU側のメモリにキャッシュし、類似の入力が来たらキャッシュから結果を返す。GPUを使わない。
論文で報告されている数字は衝撃的だ。キャッシュヒット時の推論コストは、通常のGPU推論に比べて16倍〜291倍安い。ヒット率が高い用途——たとえばFAQ対応、定型的な問い合わせ対応、社内ナレッジ検索——では、GPU稼働時間を劇的に減らせる。
ここで重要なのは「中小企業の業務こそキャッシュが効きやすい」という構造だ。大企業の汎用チャットボットは質問のバリエーションが膨大でキャッシュヒット率が下がる。一方、中小企業の社内ツールや特定業務向けボットは、質問パターンが限られる。つまり、キャッシュヒット率が高くなりやすい。
月額30万のGPU代のうち、キャッシュで7割の推論をさばけたら? GPU稼働は3割で済む。月額30万が9万。量子化と組み合わせれば、さらに下がる。
打ち手③:エッジデバイス展開——そもそもクラウドGPUをやめる
3つ目の選択肢は、そもそもクラウドGPUを使わないという発想だ。
最近のエッジデバイス向けLLM展開の研究が急速に進んでいる。Apple Silicon搭載のMac、NVIDIA Jetson、あるいは最新のスマートフォンでも、量子化された7B〜13Bクラスのモデルが実用的な速度で動くようになってきた。
たとえば、M2チップ搭載のMac mini(約10万円)で、4ビット量子化した13Bモデルを動かすと、毎秒10〜15トークン程度の生成速度が出る。体感で「ちょっと遅いが待てる」レベルだ。社内利用なら十分実用的だ。
この場合のコストはどうなるか。Mac mini 1台10万円。電気代は月額数百円。初期投資10万円、ランニングコストほぼゼロ。クラウドGPU月額30万と比べれば、4ヶ月で元が取れる。
エッジ展開のメリットはコストだけではない。
- データが外に出ない。 顧客情報や社内機密を扱う中小企業にとって、これは大きい。クラウドAPIにデータを送る必要がない。
- レイテンシが安定する。 ネットワーク遅延がないから、応答速度が安定する。
- API制限がない。 レートリミットも、突然の値上げも、サービス終了リスクもない。
一方、デメリットもある。モデルの更新は手動になるし、複数拠点で使うなら台数分の端末が必要だ。同時接続数が多い用途には向かない。「社内で5〜10人が使う」くらいの規模感がスイートスポットだ。
3つの打ち手を組み合わせると、こうなる
| 打ち手 | 何が変わるか | コスト削減の目安 | 向いている用途 |
|---|---|---|---|
| 量子化(INT4/FP4) | メモリ読み出し量を1/4に | GPU代 約1/3〜1/4 | 全般。まずやるべき |
| 推論キャッシュ再利用 | 同じ質問でGPUを回さない | GPU稼働 最大1/5〜1/10 | FAQ、定型問い合わせ |
| エッジデバイス展開 | クラウドGPU自体を不要に | 月額→初期投資のみ | 少人数の社内利用 |
重要なのは、これらは排他的な選択肢ではないということだ。
現実的な組み合わせ例:
- 社内FAQ → エッジデバイス(Mac mini)で量子化モデルを動かす。月額コストほぼゼロ。
- 顧客対応チャットボット → クラウドGPUで量子化モデル+キャッシュ再利用。月額30万→6万。
- 高度な文書生成(たまに使う) → クラウドAPIを従量課金で。月額数千円。
この組み合わせなら、月額30万超だったAI推論コストが、トータル月額7〜8万円まで落ちる。1/4以下だ。
で、結局どうすればいいのか
「GPU代が高い」と嘆く前に、まず自社の推論パターンを分析することだ。
- 質問の繰り返し率を測れ。 7割以上が似た質問なら、キャッシュが劇的に効く。
- 同時接続数を数えろ。 10人以下ならエッジデバイスで十分な可能性が高い。
- 精度要件を見極めろ。 社内利用なら量子化の精度劣化は許容範囲内であることが多い。
この3つを把握するだけで、最適な構成が見えてくる。
技術の進化は速い。半年前に「13Bモデルをローカルで動かす」と言ったら笑われた。今は10万円のMac miniで動く。1年後にはスマートフォンで動くかもしれない。
メモリ帯域というボトルネックの正体を知っていれば、次にどの技術が来ても「これは読み出し量を減らす技術だな」「これはキャッシュを賢くする技術だな」と構造で理解できる。
中小企業がAIで勝つ方法は、大企業と同じGPUを借りることではない。「26GBを読まなくて済む仕組み」を、自社の業務パターンに合わせて組むことだ。
まずは、自社のチャットボットのログを1週間分見てみてほしい。同じ質問が何回来ているか。その数字が、あなたの会社のAIコスト削減余地そのものだ。
—
JA
EN