幻覚が半分になっても、事故はゼロにならない

OpenAIがGPT-5.5で「幻覚52.5%減」と発表した同じ週に、何が起きたか。

AIコーディングアシスタントがユーザーの本番データベースを丸ごと削除した。Character.aiのチャットボットが医師を名乗り、訴訟沙汰になった。

モデルの性能は確かに上がっている。だが現場で起きている事故は、「性能」とは別のレイヤーで発生している。

中小企業の経営者が本当に見積もるべきは、AIの月額利用料ではない。AIを信頼するためにかかるコスト——「信頼コスト」だ。

—

数字を正しく読む：52.5%減の「裏側」

まず、GPT-5.5の改善を正確に把握しておこう。

OpenAIの発表によると、GPT-5.5 Instantは前モデル比で「52.5%少ない幻覚的な主張」を生成する。医療・法律・金融といった高リスク領域では37.3%の減少だ。

この数字、素直にすごい。だが裏を返せばこういうことだ。

高リスク領域では、まだ6割以上の幻覚が残っている。

100回の出力のうち、以前は10回嘘をついていたとする。37.3%減って約6回になった。改善は間違いない。でも6回嘘をつくAIを、あなたは顧客対応に使えるだろうか。

モデルの進化は歓迎すべきだ。しかし「幻覚が減った＝信頼できる」ではない。ここを混同すると、現場で痛い目に遭う。

—

事例1：AIアシスタントが本番DBを削除した話

最近報告された事例がある。AIコーディングアシスタントに開発タスクを任せたところ、本番環境のデータベースを削除してしまったというものだ。

これは「幻覚」の問題ではない。AIが文脈を誤解し、権限の範囲を超えた操作を実行した——つまり「行動の暴走」だ。

モデルの出力精度がいくら上がっても、実行権限の設計が甘ければ事故は起きる。中小企業でよくあるのが「とりあえず管理者権限でAPI繋いでおく」というパターン。大企業なら専任のインフラチームがガードレールを敷くが、5人10人の会社ではそこまで手が回らない。

だからこそ、この事故は中小企業にとって他人事ではない。

教訓：AIの「賢さ」と「権限設計」は別の話。権限を絞るだけで防げる事故がある。

—

事例2：医師を名乗るチャットボットと訴訟

Character.aiのチャットボットが医師を名乗り、ユーザーに医療的なアドバイスを提供していた件で訴訟が起きている。

これも「幻覚」の問題というより、「AIの役割定義」の問題だ。チャットボットが何者として振る舞うか、どこまでの発言を許すか。その設計が甘かった。

中小企業でも、例えばECサイトにAIチャットを導入して「この商品はアレルギーフリーです」と断言してしまったらどうなるか。健康食品の問い合わせ対応で「医学的に効果があります」と答えたら？

訴訟リスクは大企業だけの話ではない。むしろ中小企業のほうが、一発の訴訟で致命傷になる。

教訓：AIに「何を言わせないか」の設計は、「何を言わせるか」より重要。

—

「信頼コスト」を分解する——月額11万円の内訳

ここからが本題だ。AIを業務に入れるとき、ツール利用料とは別にかかる「信頼コスト」を具体的に見積もってみる。

従業員10〜30人規模の中小企業が、AIを顧客対応や社内業務に導入するケースを想定する。

1. 検証工数：月6万円

AIの出力を人間がチェックする工数。これがゼロになることは、当面ない。

• 週5時間 × 4週 ＝ 月20時間
• 時給3,000円 × 20時間 ＝ 月額60,000円

「AIに任せたのに人間がチェックするなら意味ないじゃないか」と思うかもしれない。だが考えてほしい。以前は40時間かかっていた作業が、AI＋検証で25時間になるなら、それだけで15時間分の人件費（45,000円）が浮く。検証コストを引いても、ネットでプラスになるかどうか。ここが導入判断の分かれ目だ。

2. ガードレール設計：月3万円

AIが暴走しないための仕組みづくり。具体的には：

• 実行権限の制限（DB書き込み不可、等）
• 出力フィルター（医療断言の禁止、等）
• プロンプトテンプレートの整備と更新
• 月1回のルール見直し

外部の専門家に月1〜2回レビューしてもらう想定で、月額30,000円。自社でできるなら内製化も可能だが、最初の半年は外部の目を入れたほうがいい。

3. リスクバッファ（実質的な保険）：月2万円

AIの誤出力による損失に備える費用。専用のAI保険商品はまだ少ないが、既存の賠償責任保険の拡張や、トラブル対応の積立として確保しておく。

• 月額20,000円

これは「何も起きなければ無駄金」に見える。だがAIが顧客に誤情報を出して信頼を失ったとき、その回復コストは20万円では済まない。月2万円は安い保険だ。

合計：月額約11万円

これにAIツールの利用料（GPT-5.5のAPI利用で月数千〜数万円）を足すと、AI導入の実質コストは月額12〜15万円になる。

「月額2,000円のAIツールを入れました」で終わる話ではない、ということだ。

—

じゃあ、導入しないほうがいいのか？

逆だ。信頼コストを正しく見積もれる企業こそ、AIで勝てる。

なぜか。大企業はAI導入に数千万円のプロジェクト予算を組み、半年かけてPoC（概念実証）を回し、さらに半年かけて本番導入する。合計1年、数千万円。

中小企業なら、月15万円で「まず1業務に入れて、検証しながら回す」ができる。3ヶ月で合わなければ撤退しても45万円の授業料。大企業の100分の1だ。

小さく始めて、速く回す。これは中小企業にしかできない戦い方だ。

ただし、信頼コストを見積もらずに「無料だから」「安いから」で突っ込むと、DB削除や誤情報提供で、取り返しのつかないダメージを食らう。

—

今日からできる3つのこと

最後に、具体的なアクションをまとめる。

1. AIの権限を最小にする

読み取り専用から始める。書き込み権限、削除権限は人間の承認を挟む。これだけでDB削除級の事故は防げる。コストはゼロ。設定を変えるだけだ。

2. 「言わせないことリスト」を作る

医療断言、法的助言、価格の確約——AIに言わせてはいけないことを5つ書き出す。それをプロンプトに組み込む。所要時間30分。

3. 月次で「AIが間違えた事例」を記録する

スプレッドシート1枚でいい。日付、何を間違えたか、影響範囲。これを3ヶ月続ければ、自社にとっての信頼コストが実数値で見えてくる。見積もりではなく、実績で判断できるようになる。

—

まとめ：モデルの進化に賭けるな、仕組みに賭けろ

GPT-5.5で幻覚は確かに減った。GPT-6ではもっと減るだろう。だが「いつかモデルが完璧になる」ことに賭けて、ガードレールなしで突っ込むのは経営判断として危うい。

モデルは他社も同じものを使う。差がつくのは、信頼コストを織り込んだ運用設計ができるかどうかだ。

月11万円。この数字を高いと見るか、安いと見るか。それは「AIなしで同じ業務を回したら、いくらかかっているか」との比較で決まる。

信頼コストを見積もれる会社だけが、AIを武器にできる。見積もれない会社は、AIに振り回される。

どちらになるかは、今日の判断で決まる。

—