AIに仕事を任せたら、嘘をつかれた。さて、どうする？

RAGを入れれば正確になる。そう信じて社内チャットボットを作った中小企業は少なくない。

だが最新の研究が突きつける事実は逆だ。RAGが、むしろ幻覚を増やすケースがある。

「AIが嘘をつく」問題は、もはや技術者だけの話ではない。見積書の数字を間違える、就業規則を捏造する、存在しない法律を引用する——業務に使えば使うほど、嘘のダメージは大きくなる。

この記事では3つの最新知見を整理し、中小企業が「AIの嘘」とどう付き合うべきかを、コスト感と許容誤答率の具体的な数字で示す。

—

RAGが幻覚を「増やす」メカニズム——検索できても正しいとは限らない

RAG（Retrieval-Augmented Generation）は「外部の文書を検索し、それを根拠に回答を生成する」仕組みだ。社内文書を食わせれば正確に答えてくれる——はずだった。

ところが最近の研究では、RAGシステムに「知識のギャップ」がある場合、つまり検索した文書に正解が含まれていない場合でも、無理やり回答を生成してしまう傾向が確認されている。

数字で見ると深刻さがわかる。

• 商用RAGシステムの正答率：97〜98%（正解がDBにある場合）
• 知識ギャップ時の「嘘をつく率」（違反率）：16.7%〜98.1%

つまり、聞かれたことの答えがデータベースにないとき、最大98%の確率で「もっともらしい嘘」を返す。

なぜこうなるのか。RAGの評価構造に原因がある。正解を出すと+1、不正解だと-4というような非対称なペナルティ設計がされていても、モデルは「回答しない」という選択肢を持たない。結果、知らないことでも答えてしまう。

ここが中小企業にとっての落とし穴だ。「社内マニュアル全部入れたから大丈夫」と思っていても、マニュアルに書かれていない質問が来た瞬間、AIは黙らずに嘘をつく。しかもその嘘は、社内文書の文体で、もっともらしく出てくる。人間が見抜くのは難しい。

対策の第一歩は「AIが答えられない領域」を明確にすること。 全知全能を期待するのではなく、「この範囲の質問だけに答えろ、それ以外は『わかりません』と返せ」という制約設計が不可欠だ。

—

LLMの嘘には「一生」がある——どこで生まれ、どこで育つのか

LLMの幻覚は突然発生するわけではない。ライフサイクルがある。これを理解しないと、対策の打ちどころを間違える。

1. データ段階（生まれ）

学習データそのものに誤りや矛盾が含まれている。ネット上の情報をかき集めて学習する以上、嘘の種はここで植えられる。中小企業がこの段階に介入するのは現実的ではない。

2. トレーニング段階（育ち）

ファインチューニングやRLHF（人間のフィードバックによる強化学習）の過程で、「とにかく流暢に答える」方向に最適化される。「わかりません」と答えるより、もっともらしい回答を返す方が高評価を得てしまう構造がここにある。

3. 推論段階（社会に出る）

実際にユーザーの質問に答える段階。ここが中小企業にとって最も重要なポイントだ。なぜなら、この段階でなら介入できるから。

最新の研究で注目されているのが、モデル自身に「自分の確信度」を判定させるアプローチだ。LLMに同じ質問を複数回投げ、回答のばらつきを見る。ばらつきが大きければ「自信がない＝嘘の可能性が高い」と判定できる。

この手法の最大の利点は、ラベル付きデータセットが不要なこと。つまり、専門家に正解データを作ってもらう必要がない。API利用料だけで実装できる。GPT-4oで同じ質問を5回投げても、コストはせいぜい数円〜数十円の世界だ。

—

幻覚検出は「無料」でできる時代に

「AIの嘘を見抜くには高い検証システムが必要」——これも、もう古い常識だ。

モデル自身の出力の一貫性をチェックする手法なら、追加の専用ツールは要らない。具体的には：

• 同一質問の複数回生成：temperature（ランダム性）を変えて5回生成し、回答の一致度を見る
• 自己矛盾チェック：生成した回答に対して「この回答は正しいか？」と同じモデルに問い返す
• ソース引用の強制：「必ず参照元の文書名と該当箇所を引用せよ」と指示し、引用がなければ回答を棄却する

これらはプロンプト設計だけで実現できる。外部ツールの導入費ゼロ。中小企業でも今日から試せる。

—

中小企業が設定すべき「許容誤答率」——業務別の目安

「誤答率ゼロ」は幻想だ。人間だって間違える。問題は、どの業務で何%まで許容するかを決めているかどうか。

決めていなければ、AIの嘘に気づけない。気づけなければ、被害が出てから騒ぐことになる。

以下は、中小企業の実務を想定した目安だ。

注目してほしいのは、社内FAQ程度なら検証コストはほぼゼロで始められるということ。逆に、法務や顧客向け発信にAIを使うなら、月10万円以上の検証コストを見込む必要がある。

ここで考えるべきは「AIを入れないコスト」との比較だ。社内FAQに人が対応すれば、担当者の人件費は月20〜30万円。AIで8割を自動化し、検証に1万円かけても、差し引き19万円以上のコスト削減になる。

一方、契約書レビューをAIに任せて検証コストに月30万円かけるなら、そもそも弁護士に直接頼んだ方が安い場合もある。「AI＋検証コスト」と「人間がやるコスト」を並べて比較する。これが中小企業の正しい判断基準だ。

—

「AIの嘘」と付き合う3つの実践ルール

最後に、中小企業がAIの幻覚と付き合うための実践ルールを3つに絞る。

ルール1：AIに「黙る権利」を与えろ

プロンプトに「確信が持てない場合は『この質問には回答できません』と返してください」と明記する。これだけで幻覚は大幅に減る。RAGなら、検索スコアが閾値以下の場合は回答を生成しない設定にする。コストはゼロ。

ルール2：「嘘が致命傷になる業務」と「嘘が笑い話で済む業務」を分けろ

全業務に同じ精度を求めるのは、コストの無駄遣いだ。上の表を参考に、業務ごとに許容誤答率を決める。「社内の雑談ボットは10%OK、見積もりは1%以下」と決めるだけで、検証リソースの配分が明確になる。

ルール3：検証は「仕組み」にしろ。属人化させるな

「ベテランの田中さんがAIの回答をチェックしている」——これは最悪のパターンだ。田中さんが休んだら誰もチェックしない。チェックリストを作り、複数回生成の一致度確認をルーティンに組み込み、月次で誤答率を計測する。仕組みにすれば、誰がやっても同じ品質が保てる。

—

で、結局どうすればいいのか

AIは嘘をつく。RAGを入れても嘘をつく。これは技術の限界ではなく、現時点での仕様だ。

だが、嘘のコストを計算し、業務ごとに許容ラインを引き、検証を仕組み化すれば、中小企業でもAIは十分に使える。

大企業は数千万円かけて幻覚対策の専用システムを組む。中小企業にその予算はない。だからこそ、プロンプト設計と運用ルールという「ゼロ円の対策」から始める。 これが中小企業の戦い方だ。

まずは社内FAQボットで試してみてほしい。「わからないことは『わかりません』と言え」——このたった一行を追加するところから、AIの嘘との付き合いは始まる。

—