結論から言う。「データを外に出さないAI」が、もう普通に使える

クラウドAIに月10万、20万と払っている中小企業に聞きたい。

そのデータ、本当に外に出して大丈夫か？

そしてそのコスト、本当に妥当か？

2024年後半から2025年にかけて、ローカルAI——つまり自社のPC上で完結するAI——が劇的に「使えるレベル」になった。箱を開けて、インストールして、すぐ動く。いわゆるプラグアンドプレイだ。しかも月5万円以下で。

この記事では、「クラウドAIを捨ててローカルに切り替えるべきか」を、具体的なコストと数字で判断できるようにする。

—

オフライン音声→テキスト変換：何が変わったのか

最も分かりやすい変化は、音声のテキスト変換だ。

従来、議事録作成や商談メモの文字起こしといえば、クラウド型のサービスが主流だった。月額数千円〜数万円。音声データはサーバーに送られ、処理されて戻ってくる。便利だが、顧客との商談内容や社内の機密情報がクラウドを経由するリスクは常にあった。

ここに来て、完全オフラインで動く音声→テキスト変換アプリが実用レベルに達した。代表的なのはWhisper系のローカルモデルを搭載したアプリだ。特徴はこうだ。

• 完全オフライン。音声データは一切外部に送信されない
• 録音しながらリアルタイムで文字起こし。再生時には単語ごとにハイライト表示
• 時間制限なし。2時間の会議でも3時間の研修でも丸ごと処理できる
• Apple WatchやスマホからPC連携まで対応するアプリも登場

コストはどうか。買い切り型なら1〜3万円程度。サブスク型でも年間5万円前後。クラウド型の文字起こしサービスに月5,000円払っていたなら、年間6万円。ほぼ同額か、買い切りならそれ以下で済む。

しかもデータが外に出ない。地方の中小企業で、顧客の個人情報や取引条件が飛び交う商談を録音しているなら、この差は大きい。「安い」だけでなく「安全」が同時に手に入る。

—

AIサンドボックス：自社PCが「AI開発環境」になる

もう一つの大きな変化。ローカルでAIモデルそのものを動かせるデスクトップアプリが、急速に整備されている。

代表的なのはオープンソースの「Ollama」や「LM Studio」、そしてサンドボックス型の「Kaiden」などだ。これらを使えば、自分のPCにLlama 3やMistralといったオープンソースのAIモデルをダウンロードして、チャットや文章生成、要約、翻訳をローカルで実行できる。

何が起きているかを整理する。

注目すべきは「5人で1年使った場合」の比較だ。クラウドAIは人数×月額で膨らみ続ける。ローカルAIは初期投資さえ済めば、何人で使おうが追加コストはほぼゼロ。社員が10人、20人と使い始めたら、差は加速度的に開く。

もちろん制約はある。ローカルで動かせるモデルのサイズは、PCのスペック（特にGPUのメモリ）に依存する。GPT-4クラスの性能をローカルで完全再現するのは、現時点ではまだ難しい。だが、「社内文書の要約」「定型メールの下書き」「FAQの自動応答」「議事録の整理」——中小企業の現場で頻度が高いタスクの8割は、7Bや13Bパラメータのモデルで十分にこなせる。

—

損益分岐を叩き出す：「月5万円」の内訳

抽象論はやめよう。具体的に計算する。

前提条件

• 社員5人がAIを日常業務で使う中小企業
• 用途：議事録作成、メール下書き、社内文書の要約、簡易な翻訳

クラウドAIを使い続けた場合（年間コスト）

• ChatGPT Plus × 5人：月3,000円 × 5人 × 12ヶ月 = 18万円
• クラウド文字起こしサービス：月5,000円 × 12ヶ月 = 6万円
• 合計：年間24万円（そして毎年かかり続ける）

ローカルAIに切り替えた場合（年間コスト）

• GPU搭載PC（RTX 4060以上）：約15〜20万円（初年度のみ）
• ローカル文字起こしアプリ（買い切り）：約2万円（初年度のみ）
• OllamaやLM Studio：無料
• 電気代増分：月500円程度 × 12ヶ月 = 約6,000円
• 初年度合計：約17〜22万円
• 2年目以降：約6,000円/年

初年度でほぼトントン。2年目から年間23万円以上の差が出る。3年で見れば約50万円の差だ。

さらに、業務時間の削減効果を加える。

議事録作成に1回30分かかっていたものが、ローカル文字起こし＋AI要約で5分になったとする。週3回の会議がある会社なら、週あたり75分の削減。年間で約65時間。時給換算3,000円としても、年間19.5万円分の人件費削減。

つまり、ローカルAI導入による経済効果は、2年目以降で年間40万円超。従業員5人の中小企業でこの数字だ。

—

「で、うちは切り替えるべきなのか？」——3つの判断基準

全ての中小企業がローカルAIに切り替えるべきとは言わない。判断基準を3つ示す。

1. 扱うデータに機密性があるか

顧客の個人情報、取引先との契約条件、社員の人事情報——これらを日常的にAIに投げているなら、ローカル一択だ。「うちは大丈夫だろう」は、情報漏洩が起きた後に最も後悔するセリフだ。

2. AIを使う人数が3人以上か

クラウドAIはユーザー数に比例してコストが増える。3人以上で日常的に使うなら、ローカルの方がコスト効率は確実に上回る。1人だけが月に数回使う程度なら、クラウドのままでいい。

3. 用途が「定型業務の効率化」中心か

最先端の画像生成やGPT-4oレベルの高度な推論が必要なら、まだクラウドに分がある。だが、議事録、メール、要約、翻訳——こうした「地味だけど毎日ある」タスクなら、ローカルモデルで十分すぎる。中小企業の現場で求められるのは、ほとんどがこっちだ。

3つのうち2つ以上に当てはまるなら、切り替えを真剣に検討すべきだ。

—

本当に変わるのは「コスト構造」ではなく「力関係」

ここからが本題だ。

ローカルAIの本質的なインパクトは、コスト削減ではない。「大企業と中小企業の力関係が変わる」ことだ。

これまで、AIを本格的に業務に組み込めるのは、クラウドサービスに月数十万〜数百万を払える大企業だけだった。中小企業は「AIは大企業のもの」と思い込んでいた。

だが、15万円のPCと無料のオープンソースモデルで、大企業が使っているのと同等レベルの業務効率化ができるとしたら？

しかも中小企業の方が有利な点がある。意思決定が速い。「来週から全員これ使おう」が、社長の一言で実現する。大企業なら稟議に3ヶ月かかる。この速度差こそが、中小企業の最大の武器だ。

ローカルAIは、その武器を最大限に活かせるツールだ。クラウドベンダーとの契約交渉も、セキュリティ審査の社内手続きも不要。PCにインストールして、明日から使える。

—

まず何をすべきか

大げさな計画は要らない。

1. 今週やること：社内のPCで「Ollama」をインストールしてみる（無料、10分で完了）
2. 来週やること：実際の業務メールや議事録をローカルAIに投げて、品質を確認する
3. 1ヶ月後に判断：クラウドAIと比較して、自社の用途に足りるかどうかを見極める

「まず触ってみる」のコストはゼロだ。判断に必要なのは情報ではなく体験だ。

ローカルAIは、もう「技術者のおもちゃ」ではない。中小企業の現場で、静かに、確実に使えるツールになっている。気づいた会社から、コスト構造が変わっていく。

—