結論から言う。GPU不要の時代が来た

「AI導入にはまずGPUサーバーを買え」——この常識が、いま静かに崩壊しつつある。

120Bパラメータのフルサイズモデル。本来なら63GBのメモリを食う化け物だ。これが16GBのM1 Pro MacBookで動く。GPU投資ゼロ。クラウドAPI契約も不要。手元のノートPCだけでいい。

これが何を意味するか。年間数十万〜数百万円のAPI利用料を払い続けていた中小企業が、今ある機材だけで同等のAI推論を回せるということだ。

「GPUを買えない」は、もはやハンデではない。むしろ、余計な固定費を抱えていない身軽さが武器になる。その構造変化を、3つの技術トレンドから読み解く。

—

ExpertCache——63GBのモデルを16GBで動かす「魔法」の正体

Hacker Newsで話題になっているプロジェクト「ExpertCache」。やっていることはシンプルに言えば、巨大モデルの「使う部分だけ」をメモリに載せるという発想だ。

Mixture of Experts（MoE）アーキテクチャのモデルでは、推論時に全パラメータが同時に必要になるわけではない。ExpertCacheは、どのエキスパート（部分モデル）が次に必要になるかを予測し、SSDからメモリへ先読みする。つまり、63GB分のモデル全体をRAMに載せるのではなく、必要な数GBだけを高速にスワップし続けることで、16GBのRAMでもフルサイズの推論品質を維持する。

ここで重要なのは「速度」だ。単にSSDからちまちま読み込むだけなら遅くて使い物にならない。ExpertCacheは予測的プリフェッチによって、体感速度を実用レベルに保っている。論文によれば、ナイーブなオフロード手法と比較して最大数倍の速度改善が報告されている。

コスト構造がひっくり返る

具体的な数字で考えてみよう。

• クラウドAPI（GPT-4クラス）を業務利用した場合：月額3万〜10万円。年間36万〜120万円。
• 自社でGPUサーバーを組む場合：NVIDIA A100搭載マシンで最低200万〜300万円。電気代・保守費は別。
• ExpertCacheで手持ちのMacBookを使う場合：追加コスト、ゼロ。

「300万が0円」——この落差は、中小企業にとって意思決定の次元が変わるレベルだ。

もちろん、現時点ではスループット（単位時間あたりの処理量）はクラウドGPUに及ばない。大量のリクエストを同時にさばくような用途には向かない。だが考えてほしい。地方の中小企業で「秒間100リクエスト」が必要な場面がどれだけあるか？ 社内の議事録要約、見積書のドラフト生成、問い合わせメールの分類——こうした日常業務なら、手元のMacBookで十分すぎる。

「うちの規模にはクラウドGPUはオーバースペックだった」と気づく会社が、これから続出するだろう。

—

JEDECの新メモリ規格——ハードウェアの価格破壊が始まる

2つ目の変化は、ハードウェアのコスト構造そのものに起きている。

半導体の業界標準を策定するJEDECが発表した新規格「SPHBM4」。技術的なポイントは2つある。

1. 512ビットの広帯域インターフェースを採用し、データ転送速度を引き上げた
2. 高価なシリコンインターポーザーを排除し、製造コストを大幅に削減した

インターポーザーとは、チップ同士を高密度に接続するための中間基板だ。現行のHBM（High Bandwidth Memory）では必須部品だが、これが製造コストの大きな部分を占めていた。SPHBM4はこれを不要にすることで、AIメモリの価格を20〜30%引き下げる可能性がある。

これは直接的に「AIが動くPCの価格」に効いてくる。

現在、AI推論に適したメモリを大量に積んだマシンは高額だ。だが、メモリ単価が2〜3割下がれば、数年以内に「AI推論が快適に動く32GBノートPC」が10万円台前半で買える時代が来る。いまExpertCacheのような技術で16GBでも動くなら、メモリが安くなった32GB・64GBのマシンではさらに大きなモデルが、さらに速く動く。

ハードウェアのコスト低下とソフトウェアの効率化。この2つが同時に進行しているのが、今の状況の本質だ。どちらか片方だけなら「面白い技術ですね」で終わる。両方が同時に来ているから「構造が変わる」と言える。

—

Go 1.27のSIMDサポート——AI推論が「どこでも動く」になる

3つ目は、プログラミング言語レベルの変化だ。

Go言語の次期バージョン1.27で、SIMDパッケージが導入される見通しになっている。SIMDとは、1回の命令で複数のデータを同時に処理するCPUの機能だ。AI推論の中核である行列演算を、GPUなしでもCPUだけで高速に処理するための鍵になる。

これまで、CPUでのAI推論を高速化しようとすると、C/C++で各CPU向けに最適化コードを書く必要があった。Intel向け、ARM向け、それぞれ別のコード。開発コストが高く、中小企業の開発チームには現実的ではなかった。

GoのSIMDパッケージは、この問題を「書いたコードがどのCPUでも速く動く」という形で解決する。クロスプラットフォーム対応のポータブルなSIMD実装だ。

中小企業にとっての意味

これが何を変えるか。

• 「AIを動かすために特定のサーバーが必要」がなくなる。 社内にあるWindows PC、Mac、Linux サーバー、どれでも同じAI推論バイナリが動く。
• 属人化しにくい。 Go言語はシンプルさが特徴で、C++のような専門知識がなくても保守できる。エンジニア1人が辞めたら動かなくなる、というリスクが減る。
• デプロイが楽。 Goはシングルバイナリにコンパイルされる。依存ライブラリの地獄がない。USBメモリ1本でAI推論環境を持ち運べる。

「AIを動かすのに専任のインフラエンジニアが必要」という時代から、「ビルドしたバイナリを置くだけ」の時代へ。これは中小企業にとって、導入ハードルが一段ではなく二段下がる話だ。

—

3つの変化が重なったとき、何が起きるか

ここまでの3つを整理する。

この3つは別々のニュースだ。だが、重ねて見ると1つの方向を指している。

「AIを動かすのに必要なカネ・ヒト・モノ」が、すべて同時に下がっている。

これは「AIが安くなった」という話ではない。「AIを使うのに大企業である必要がなくなった」という構造の話だ。

—

で、中小企業は今なにをすべきか

「面白い技術が出てきましたね」で終わらせたくない。具体的に、今日からできることを3つ挙げる。

1. 手元のMacBookでローカルLLMを動かしてみる

ExpertCacheでなくても、llama.cppやOllamaといったツールで、7B〜13Bクラスのモデルは今すぐ動かせる。まず「自社のPCでAIが動く」という体験をしてほしい。体験なしに判断はできない。

2. 「月額いくらAI APIに払っているか」を棚卸しする

クラウドAPIの請求書を見直してほしい。月3万円以上払っているなら、ローカル推論に切り替えるだけでコストがゼロになる用途がないか検討する価値がある。

3. 「GPUがないからAIは無理」という社内の思い込みを捨てる

これが一番大事だ。技術の変化は速い。半年前の常識は、もう常識ではない。「うちにはGPUサーバーがないから」「予算がないから」——その前提が崩れていることを、まず経営者自身が知る必要がある。

—

逆転はすでに始まっている

大企業は数千万円かけてGPUクラスタを組み、専任チームを置き、社内調整に半年かけてAIを導入する。

中小企業は、明日MacBookにExpertCacheを入れて、来週から使い始められる。

どちらが速いか。どちらが身軽か。

「持たざる者」が有利になる時代が、静かに、しかし確実に来ている。

重要なのは、この変化に気づいて動くかどうかだ。技術は待ってくれない。でも、技術は誰にでも開かれている。

まず、手元のPCでAIを動かしてみよう。それが最初の一歩だ。

—