AIの出力を「そのまま使った」人たちが、いま何を失っているか

AIを使うコストは劇的に下がった。ChatGPTに聞けば数秒で文章が出る。画像も、要約も、レポートも。だが「出力を作るコスト」が下がった裏で、急速に上がっているコストがある。

「AIの出力をそのまま信じたときに発生する損害」のコストだ。

ここ数週間で、それを証明する事件が3つ立て続けに起きた。警察官がAIで証拠を捏造した疑い。KPMGがAI生成の報告書を撤回。裁判所がGoogleにAIの虚偽出力の責任を認定。どれも共通するのは、「AIの出力をチェックせずに使った」という一点だ。

これは大企業や公的機関だけの話ではない。むしろ、チェック体制が薄い中小企業こそ、同じ地雷を踏むリスクが高い。

—

事件1：警察官がAIで「存在しない証拠」を作った

イギリス・ダービーシャー州の警察官が、AIを使って複数の事件の証拠資料を作成した疑いで調査を受けている。

報道によれば、この警察官はAIが生成した文書をそのまま証拠として捜査に使用していたとされる。問題は明白だ。AIが「もっともらしく作った文章」が、事実に基づいているかどうかを誰も検証しなかった。

結果として何が起きるか。無実の人間が追及される。冤罪が生まれる。イギリスでは冤罪に対する国家賠償が数十万ポンド（数千万円）規模になることも珍しくない。さらに、その警察官が関与した過去の事件すべてが再調査の対象になる可能性がある。1人の「AIを信じた」行為が、組織全体の信頼を崩壊させる。

ここで考えるべきは、「証拠を自分で書く」コストと「AIに書かせてチェックしない」コストの比較だ。前者は時間がかかる。後者は一瞬で終わるが、失敗したときの代償は桁が3つ違う。

—

事件2：KPMGがAI生成レポートを撤回——「Big4」でも防げなかった

KPMGがAIを活用して作成した報告書を撤回した。理由はAIの「ハルシネーション（幻覚）」。つまり、AIがもっともらしいが事実ではない情報を生成し、それがそのまま報告書に載ってしまった。

KPMGといえば、世界四大会計事務所の一角だ。コンプライアンスやリスク管理のプロ集団である。そのKPMGですら、AIの出力チェックをすり抜けた。

この事件が示しているのは、「AIの出力を検証する仕組み」は、導入する側が意図的に設計しなければ機能しないということだ。AIは自分の間違いを教えてくれない。間違っていても自信満々に出力する。だから、人間側にチェックの仕組みがなければ、どんな大企業でも同じことが起きる。

KPMGの報告書撤回による損害を考えてみる。直接的なコストとして、報告書の再作成、クライアントへの説明、法務対応がある。だが、それよりはるかに大きいのは「KPMGの報告書は信頼できるのか？」という疑念が市場に広がることだ。監査法人にとって信頼は商品そのものだ。それが毀損されるコストは、数億円では済まない。

—

事件3：裁判所がGoogleに「AIの虚偽出力」の責任を認定

裁判所がGoogleに対し、AIが生成した虚偽の発言について法的責任を認める判決を下した。

これは画期的な判例だ。これまで「AIが勝手に言ったこと」に対して、提供企業がどこまで責任を負うかは曖昧だった。この判決は、AIの出力は「提供者の発言」として扱われうるという方向性を示している。

中小企業にとって、この判例の意味は大きい。たとえば、自社サイトにAIチャットボットを設置して、そのボットが事実と異なる商品説明をした場合。「AIが勝手に言ったので」は通用しない。その出力は、あなたの会社の発言として扱われる可能性がある。

景品表示法違反、不実告知、信用毀損——AIの出力1つで、これらのリスクが一気に現実になる。

—

「検証コスト」と「検証しなかったコスト」を数字で比較する

ここからが本題だ。中小企業にとって、AIの出力を検証するコストはいくらか。そして、検証しなかった場合の損害はいくらか。

検証するコスト（月額ベースの目安）

検証しなかった場合の損害（実際の事例ベース）

月5〜8万円の検証コストと、1件で数百万円を超える損害。比較するまでもない。

検証は「コスト」ではなく「保険」だ。 しかも、火災保険のように「起きないかもしれない」リスクへの備えではない。AIのハルシネーションは確率的に必ず起きる。起きることが分かっているリスクに備えないのは、保険に入らないのではなく、シートベルトを締めないのと同じだ。

—

中小企業が「今日からできる」3つの検証ルール

大企業のような専門チームは不要だ。以下の3つだけ、まず決めればいい。

1. 「AIの出力は下書き」ルールを全社に徹底する

AIの出力をそのまま外部に出さない。これを社内ルールとして明文化する。メール、提案書、SNS投稿、チャットボットの応答——すべて「人間が確認してから出す」を原則にする。ルール作成にかかる時間は1時間。コストはゼロ。

2. 「固有名詞・数字・法的表現」は必ずソースを確認する

AIが最も間違えやすいのは、固有名詞、数字、法律や規制に関する記述だ。この3つだけは、必ず元のソースに当たる。全文をチェックする必要はない。地雷が埋まっている場所は決まっている。

3. 「誰がチェックしたか」を記録に残す

万が一、AIの出力が問題を起こした場合、「検証プロセスを経ていた」という記録があるかないかで、法的責任の重さが変わる。Googleスプレッドシートに「日付・内容・確認者」を記録するだけでいい。5分で作れる。

—

「AIを使うな」ではない。「AIの出力を信じるな」だ

誤解しないでほしい。この記事は「AIを使うな」と言っているのではない。AIは中小企業にとって、人手不足を補い、コストを下げ、スピードを上げる強力な武器だ。その価値は変わらない。

だが、武器には安全装置がいる。

警察官は、AIの出力を証拠としてそのまま使った。KPMGは、AIの出力を報告書としてそのまま出した。Googleは、AIの出力を検索結果としてそのまま表示した。3つの事件に共通するのは、「そのまま」使ったことだ。

中小企業がAIを使う最大のメリットは「速さ」と「安さ」だ。だが、その速さと安さに甘えて検証を省略した瞬間、AIは武器から地雷に変わる。

月5万円の検証コストをケチって、数百万円の損害を食らう。それは「AIのリスク」ではない。「経営判断のミス」だ。

AIの出力を作るコストは限りなくゼロに近づいている。だからこそ、「出力を検証する能力」こそが、これからの競争力になる。

まずは今日、社内で1つだけ決めてほしい。「AIの出力は、必ず人間が確認してから外に出す」。それだけで、あなたの会社は3つの事件の当事者たちより、はるかに賢い判断をしたことになる。

—