AIを使うコストは下がった。でも「AIを信じるコスト」は爆上がりしている

米名門法律事務所Sullivan & Cromwellが、ニューヨークの連邦裁判所で謝罪した。理由は、AIが生成した「存在しない判例」をそのまま裁判所に提出したこと。いわゆるAIの「ハルシネーション（幻覚）」だ。

これ、大手法律事務所だから大きなニュースになっただけで、同じことは今この瞬間、日本中の中小企業で静かに起きている。提案書、契約書、SNS投稿、議事録、報告書——AIに書かせて、そのまま出していないか？

問いはシンプルだ。「AIの出力をチェックしないことで、いくら失うのか？」

具体的に金額を出してみる。

—

事件の構造：なぜ名門事務所がやらかしたのか

Sullivan & Cromwellは、全米でもトップクラスの法律事務所だ。弁護士の時間単価は数万円〜十数万円。その事務所が、AIが生成した架空の判例引用をそのまま裁判書類に載せた。

ポイントは「能力の問題ではない」ということ。優秀な弁護士が揃っていても起きた。なぜか。AIの出力が「それっぽすぎる」からだ。 判例番号、裁判所名、年月日——すべてが本物のように整っている。だが中身は完全にでっち上げ。人間が流し読みすれば見抜けない精度で嘘をつく。

これは法律業界だけの話ではない。AIが書いた提案書の数字、契約書の条項、レポートの引用元。どれも「それっぽい」。そして「それっぽい」ものほど、人はチェックを省略する。

—

業務別・AIの嘘が招く損害額を試算する

以下、中小企業の現場で実際に起こりうるケースを想定し、損害額を具体的に出す。

ケース1：提案書——1件の失注で500万円が消える

提案書の作成コスト自体は、AIを使えば大幅に下がる。従来、外注すれば30〜50万円かかっていたものが、AIで叩き台を作れば5万円程度で済む。ここまではいい。

問題は、AIが「存在しない実績」や「誤った市場データ」を混ぜ込んだ場合だ。提案先の担当者がそれに気づいたらどうなるか。

• 提案は即却下
• 「この会社はデータを捏造する」というレッテル
• 次回以降の指名も消える

1件の契約単価が500万円なら、失注1回で500万円。さらに、その顧客との将来の取引（LTV）を考えれば、3年で1,500万円以上の機会損失になる。提案書の作成コストを45万円節約して、1,500万円を失う。コスト削減率90%、損失拡大率3,000%。 割に合わない。

ケース2：契約書——誤った条項1つで訴訟コスト500万円超

契約書は法的拘束力を持つ。AIが生成した契約書に、たとえば「損害賠償の上限条項」が抜けていたり、「準拠法」が誤っていたりしたらどうなるか。

中小企業の訴訟コストの現実を見てみよう。

• 弁護士着手金：30〜50万円
• 訴訟対応の弁護士費用（半年〜1年）：100〜300万円
• 社内の対応工数（経営者・担当者の時間）：時給換算で50〜100万円相当
• 敗訴した場合の損害賠償：数百万円〜数千万円

合計すると、軽微なケースでも200〜500万円。重大なケースなら数千万円だ。

契約書のAIレビューツールは月額数万円で使える。しかし、それを「最終チェック」だと思い込んで人間のレビューを省略した瞬間、リスクは跳ね上がる。AIは「抜け」を見つけるのは得意だが、「抜けを作る」のも得意だ。 この矛盾を理解しているかどうかが分かれ目になる。

ケース3：SNS投稿——5万円の投稿が1,000万円の炎上になる

SNS投稿の制作コストは安い。AIを使えば1投稿あたり数百円〜数千円で量産できる。だからこそ危険だ。

AIが生成した投稿に、事実と異なる効能表現や、他社の商標を含む表現が入っていたケースを考える。

• 炎上対応の広報コスト：50〜100万円
• 謝罪・訂正対応の工数：30〜50万円相当
• 顧客離れによる売上減少：年商1億円の企業で売上が5〜10%落ちれば、500〜1,000万円
• 景品表示法違反等で行政指導を受けた場合：課徴金＋対応コストで数百万円

5万円の制作費を浮かせて、1,000万円の損害。レバレッジが逆方向に200倍かかっている。

ケース4：セキュリティ報告書——「高品質の混沌」という新しいリスク

もう一つ見逃せないのが、社内向けの報告書やセキュリティレポートだ。AIが生成するレポートは、体裁が整っていて読みやすい。グラフも表もきれいに出る。しかし、中身の数値が微妙にずれていたり、リスク評価の根拠が架空だったりする。

あるセキュリティ専門家はこれを「高品質の混沌（High-Quality Chaos）」と呼んでいる。見た目は完璧、中身はカオス。

これが社内の意思決定に使われたらどうなるか。誤ったリスク評価に基づいてセキュリティ投資を怠り、実際にインシデントが起きた場合——中小企業のセキュリティインシデント対応コストは、IPAの調査によれば平均で数百万円〜数千万円だ。

—

損害額の全体像：チェックしないコストは年間で数千万円規模

ここまでの試算をまとめる。

中小企業がこれらの業務を月に数十件こなしているとすれば、年間の潜在リスクは数千万円規模になる。売上数億円の企業にとって、これは経営を揺るがす金額だ。

—

で、結局どうすればいいのか

「AIを使うな」ではない。それは思考停止だ。AIによるコスト削減効果は本物で、中小企業こそその恩恵を受けるべきだ。

問題は「AIの出力をそのまま出すオペレーション」にある。やるべきことは3つ。

1. 「AIが書いた」と前提するチェックフローを作る

AIの出力は「優秀なインターンの初稿」だと思えばいい。そのまま出す上司はいない。必ず人間がレビューするフローを、業務プロセスに組み込む。チェックリスト1枚で十分だ。

• 固有名詞・数字・引用元は実在するか？
• 法的リスクのある表現はないか？
• 事実と意見が混同されていないか？

このチェックにかかる時間は1件あたり10〜30分。時給換算で500〜1,500円。数千万円のリスクに対するコストとしては破格に安い。

2. 「AIが苦手な領域」を全員が知っている状態を作る

AIは「もっともらしい嘘」が得意だ。特に以下の領域でハルシネーションが起きやすい。

• 判例・法令の引用
• 統計データの数値
• 人物の経歴・発言
• 最新の事実関係

これを社内で共有するだけで、チェックの精度は大幅に上がる。「AIが間違えやすいポイント一覧」をA4一枚にまとめて、全員のデスクに貼る。それだけでいい。

3. 失敗事例を「資産」にする

AIの誤出力を見つけたら、それを社内で共有する。「AIがこんな嘘をついた」という事例集は、そのまま組織のリスク管理能力になる。大企業はこれをシステム化するが、中小企業なら共有チャットに投げるだけで十分だ。

属人的な「気づき」を、再現可能な「仕組み」にする。 これが中小企業のAI活用で最も重要なことだ。

—

AIは「コストを下げる道具」であって「判断を委ねる相手」ではない

Sullivan & Cromwellの事件が教えてくれるのは、AIの性能の問題ではない。「人間がチェックを怠ったときに何が起きるか」という、極めてシンプルな教訓だ。

AIで提案書の作成コストが50万円から5万円になった。素晴らしい。でも、浮いた45万円のうち1万円分の時間をチェックに回さなければ、500万円を失う。

コストが10分の1になった道具を、検証ゼロで使うのは、ブレーキのない車で高速道路に乗るのと同じだ。

中小企業にとってAIは間違いなく武器になる。ただし、その武器の安全装置は人間がつける。チェックリスト1枚、共有チャット1つ、10分のレビュー。それだけで数千万円のリスクが消える。

まずは明日、AIが書いた文書を1つ、事実確認してみてほしい。きっと何か見つかる。