推論コストが1/10になったら、何が起きるか

結論から言う。AIを使うコストの地殻変動が始まっている。

AIチップスタートアップのEtchedが、わずか1ヶ月で評価額を2倍の210億ドル（約3.2兆円）に引き上げた。投資家がここまで熱狂する理由はシンプルだ。同社のTransformer専用ASIC「Sohu」が、NVIDIAの汎用GPUに対して推論性能で圧倒的な優位を示しているからだ。

公称値では、H100比で20倍以上のスループット。推論コストに換算すれば、1/10以下になる計算だ。

この数字がそのまま実現するかはまだわからない。だが、方向性は明確だ。「推論コストは劇的に下がる」。これはEtchedだけの話ではない。Groq、Cerebras、そしてNVIDIA自身もBlackwellアーキテクチャで推論効率を大幅に引き上げようとしている。チップメーカー同士の競争が、コストを叩き落とす構造ができた。

中小企業の経営者に問いたい。「AIの利用コストが今の1/10になったら、あなたの会社で何が変わるか？」

汎用GPUの時代が終わる構造的な理由

なぜ専用チップが汎用GPUに勝てるのか。ここを理解しておくと、今後の判断軸がクリアになる。

NVIDIAのGPUはもともとグラフィックス処理用に設計された汎用プロセッサだ。AI学習にも推論にも使えるが、「何でもできる」ということは「特定の処理に最適化されていない」ということでもある。

EtchedのSohuは違う。Transformerアーキテクチャの推論処理だけに特化したASIC（特定用途向け集積回路）だ。余計な回路を持たない分、同じ電力・面積あたりの処理効率が桁違いに高い。スマホで例えるなら、「何でも撮れるコンデジ」と「特定の被写体に最適化された専用カメラ」の違いだ。

ここで重要なのは、今のAI市場の主戦場が「学習」から「推論」に移っていることだ。GPT-4やClaude、Geminiといった基盤モデルの学習は数億〜数十億ドル規模の投資が必要で、これは大企業やビッグテックの領域だ。しかし、学習済みモデルを「使う」——つまり推論は、中小企業を含むすべてのユーザーが日常的に行う処理だ。

推論コストが下がるということは、AIを「使う側」全員にとってのコスト革命になる。ここが本質だ。

数字で見る：中小企業のAIコストはどう変わるか

具体的にイメージしてほしい。

現在、GPT-4クラスのモデルをAPI経由で使う場合、月間の推論コストはざっくり以下のような水準だ（利用量による）。

• 社内チャットボット（1日500件の問い合わせ対応）：月額15〜30万円
• ドキュメント要約・分類（1日1,000件処理）：月額20〜50万円
• 画像認識を含む品質検査（製造ライン1本）：月額50〜100万円

これが1/10になったらどうなるか。

• 社内チャットボット：月額1.5〜3万円
• ドキュメント要約・分類：月額2〜5万円
• 品質検査：月額5〜10万円

パート1人分の人件費以下だ。「AIを入れるかどうか」ではなく、「入れない理由がない」というレベルになる。

もちろん、Etchedの専用チップを中小企業が直接買うわけではない。チップの性能向上は、クラウドサービスのAPI価格に反映される。AWS、Azure、Google Cloudが安い推論インフラを提供し、その恩恵が末端ユーザーに届く。すでにこの1年で、主要LLMのAPI価格は半分以下に下がっている。Etchedのような専用チップの台頭は、この価格下落をさらに加速させる。

NVIDIAのTRTMC——「使い始め」のハードルも下がる

コストだけではない。「導入の手間」も同時に下がっている。

NVIDIAが発表したTensorRT Model Connect（TRTMC）は、地味だが実務的に大きい。何ができるかを一言で言えば、「Hugging Faceに公開されているAIモデルを、たった2コマンドで高速推論環境にデプロイできる」ということだ。

従来は、モデルをONNX形式に変換し、TensorRTで最適化し、推論パイプラインを構築する——という複数ステップが必要だった。AI専門のエンジニアがいなければ手が出せない領域だった。

TRTMCはこの工程を丸ごとスキップする。C++のタスクAPIを通じて、エンドツーエンドで推論が走る。つまり、「AIモデルを選んで、動かす」までの時間が劇的に短くなった。

中小企業にとっての意味は明確だ。AIエンジニアを正社員で雇わなくても、外部のモデルを自社環境で高速に動かせる可能性が出てきた。月額数万円のクラウドGPUインスタンスで、大企業と同じモデルを同じ速度で回せる。これは「人材格差」という中小企業の最大のボトルネックを迂回する道だ。

物理AI投資の急増——次の波はソフトウェアの外にある

もう一つ、見逃せない動きがある。物理AI——ロボティクス、自動運転、ドローン——への投資が急増している。VCマネーが数十億ドル規模でこの領域に流れ込んでいる。

これが中小企業に関係あるのか？ ある。

物理AIの普及は、推論チップの需要を爆発的に増やす。ロボット1台1台がリアルタイムで推論を回す必要があるからだ。需要が増えれば量産効果でチップ単価は下がる。チップ単価が下がれば、クラウドの推論コストも下がる。

つまり、ロボティクス企業が物理AIに投資すればするほど、中小企業がクラウドでAIを使うコストも下がるという構造だ。自分で投資しなくても、業界全体の投資の恩恵を受けられる。これは中小企業にとって都合のいい構造だ。

で、中小企業は今何をすべきか

「コストが下がるなら待てばいいのか？」——これは間違いだ。

コストが下がった時に最も得をするのは、「すでにAIの使い方を知っている企業」だ。コストが1/10になっても、何に使うかわからなければ意味がない。

今やるべきことは3つ。

1. 小さく使い始める
月額1〜5万円のAPI利用から始めればいい。社内の議事録要約、問い合わせ対応の下書き、見積書のチェック。何でもいい。「AIに触れている時間」を社内に作ることが最優先だ。

2. 「推論コスト」を意識する
AIの利用コストの大半は推論コストだ。今使っているサービスの料金体系を確認し、「トークン単価がいくらか」「月間何トークン使っているか」を把握する。これを知っておけば、コストが下がった時にスケールさせる判断が速くなる。

3. 自前でモデルを持つ選択肢を視野に入れる
TRTMCのような技術が成熟すれば、オープンソースモデルを自社環境で動かすハードルは劇的に下がる。今すぐではなくても、「Llama系のモデルをローカルGPUで動かしたらいくらか」くらいの試算はしておく価値がある。API依存からの脱却は、コスト削減だけでなくデータセキュリティの観点でも意味がある。

構造変化を読む目を持て

Etchedの評価額が1ヶ月で2倍になった。この事実そのものより、「なぜ投資家がそこまで賭けるのか」の構造を読むことが重要だ。

答えはシンプル。推論市場がこれから爆発的に拡大し、その市場でNVIDIAの独占が崩れる可能性が見えたからだ。独占が崩れれば競争が起き、競争が起きれば価格が下がる。価格が下がれば利用者が増え、市場がさらに拡大する。

このサイクルの恩恵を最も受けるのは、実は大企業ではない。大企業はすでに自前でGPUクラスタを持っている。コストが下がって最もインパクトが大きいのは、「今までコストがネックでAIを本格導入できなかった層」——つまり中小企業だ。

300万円かかっていたものが30万円になる。30万円が3万円になる。そのたびに、AIを使える企業の裾野が広がる。

地方の製造業が、月額3万円で品質検査AIを回す。地方の会計事務所が、月額2万円で書類の自動分類を走らせる。地方の小売店が、月額1万円で需要予測を回す。

そういう世界が、あと2〜3年で来る。

問いは一つだ。「その時、あなたの会社は準備ができているか？」

—