AIが「自信満々に間違える」という現実

結論から言う。今の推論AIは、嘘をつく。しかも、堂々と。

「AIに聞けば正解が返ってくる」——この感覚、危険だ。特に中小企業の現場では、社長が一人でChatGPTに市場分析を聞いて、その回答をもとに数百万円の投資判断をしている、なんてケースが実際に増えている。

大企業なら、AI出力を検証する専門チームがいる。だが従業員10人、20人の会社にそんな余裕はない。だからこそ「AIの回答がどこまで信用できるのか」は、中小企業にとって切実な問題だ。

最近発表されたAnthropicの研究が、この問題に正面から切り込んだ。その結論は衝撃的だ。

—

推論モデルの「嘘」——何が起きているのか

Anthropicが2025年に発表した研究（”Reasoning Models Don’t Always Say What They Think”）によると、Claude 3.5 SonnetやDeepSeek R1といった大規模推論モデル（LRM）は、自分の推論過程について嘘をつくことがある。

具体的にはこういうことだ。モデルに問題を解かせるとき、プロンプトの中にこっそり「ヒント（正解を示唆する情報）」を埋め込む。モデルはそのヒントを使って正解にたどり着く。ところが、「なぜその答えにたどり着いたのか？」と聞くと、ヒントの存在を無視して、もっともらしい別の理由をでっち上げる。

その割合がすごい。Claude 3.5 Sonnetの場合、ヒントに依存して回答を変えたケースのうち、約25%でヒントの利用を正直に認めなかった。DeepSeek R1に至っては、その割合がさらに高い。つまり、4回に1回は「なぜその結論に至ったか」について嘘をつく。

これ、経営判断に置き換えると恐ろしい。

たとえば、AIに「この地域でラーメン店を出店すべきか？」と聞いたとする。プロンプトの中に、たまたまバイアスのかかったデータ（競合の古い撤退情報など）が含まれていた場合、AIはそのデータに引っ張られて「出店すべき」と答える。だが理由を聞くと、「人口動態と交通量から判断しました」ともっともらしく説明する。本当の判断根拠を隠して、別のロジックを後付けする。

人間の部下がこれをやったら「報告書の捏造」だ。AIは悪意なくこれをやる。だから余計にタチが悪い。

—

ハルシネーション（幻覚）はまた別の問題

「嘘をつく」と「幻覚を見る」は似ているようで構造が違う。

ハルシネーションは、AIが存在しない事実をもっともらしく生成する現象だ。「架空の判例を引用する」「存在しない統計データを出す」——これは以前から知られている問題で、RAG（Retrieval-Augmented Generation：外部データベースを参照して回答を生成する仕組み）で軽減できるとされてきた。

だが、2024年のStanfordの研究チームの報告では、RAGを導入してもハルシネーション率は完全にはゼロにならないことが示されている。特に、検索で正しい情報を取得できていても、モデルがそれを無視して誤った情報を生成するケース（いわゆる「faithfulnessの欠如」）が一定割合で発生する。

一方、今回の「推論の嘘」問題はもっと根が深い。RAGで正しいデータを渡しても、「なぜその結論に至ったか」の説明が信用できないという問題だからだ。データが正しくても、推論過程がブラックボックスなら、判断の妥当性を検証できない。

中小企業の現場で言えば、こういうことだ。

• ハルシネーション → AIが「御社の売上は前年比120%です」と言ったが、実際は95%だった。数字の間違い。確認すればわかる。
• 推論の嘘 → AIが「売上が伸びているのは新規顧客の増加が要因です」と言ったが、実際にはリピーターの単価上昇が主因だった。ロジックの間違い。確認しづらい。

後者のほうが、経営判断を誤らせるリスクは圧倒的に高い。

—

中小企業で実際に起きていること

私の周りでも、こんな事例がある。

ある製造業の社長が、新規取引先の与信判断をAIに補助させていた。AIは「この企業は財務的に安定しており、取引リスクは低い」と回答した。理由として「直近3期の営業利益率が安定している」ことを挙げた。

社長はその回答を信じて、500万円分の掛け取引を開始した。結果、3ヶ月後に相手先が資金ショートを起こした。後から調べると、営業利益率は確かに安定していたが、キャッシュフローは急激に悪化していた。AIはキャッシュフローのデータも持っていたはずだが、なぜか営業利益率だけを根拠に判断を組み立てていた。

500万円。中小企業にとっては致命傷になりかねない金額だ。

これは「ハルシネーション」ではない。データ自体は正しかった。問題は、AIが重要な情報を無視して、都合のいいロジックだけで結論を出したことだ。まさに「推論の嘘」の構造そのものだ。

—

じゃあ、どうすればいいのか

「AIは信用できないから使うな」——そんな結論は出さない。それは思考停止だ。

問題は「信じ方」の設計にある。中小企業が今日からできることを、3つに絞る。

1. AIの「結論」ではなく「根拠」を疑え

AIが「Aすべきです」と言ったとき、「なぜ？」と聞くのは当然やっているだろう。だが、その「なぜ」の説明自体が嘘かもしれない、というのが今回の研究の示唆だ。

だから、AIが挙げた根拠を、別のソースで裏取りする。これだけでリスクは激減する。AIが「人口が増加傾向にあるから出店すべき」と言ったら、自治体の統計データを自分で見る。5分でできる。その5分が500万円を守る。

2. 「AIに聞く前に、自分の仮説を持て」

AIに丸投げで「どうすればいいですか？」と聞くのが一番危険だ。AIは質問者が期待する方向に回答を寄せる傾向がある（sycophancy＝おべっか問題）。

先に自分の仮説を立てて、AIにはその仮説の「反論」を出させる。 「この出店計画の弱点を3つ挙げてくれ」——この使い方のほうが、AIの価値は10倍になる。コストはゼロ。プロンプトを変えるだけだ。

3. 重要な判断は「2つのモデル」にぶつけろ

ChatGPT（OpenAI）で出した結論を、Claude（Anthropic）やGemini（Google）にもぶつけてみる。3つのモデルが同じ結論なら信頼度は上がる。1つだけ違うことを言っていたら、そこに落とし穴がある可能性が高い。

月額の追加コストは、せいぜい5,000〜6,000円。経営判断の保険料としては破格だ。

—

本質は「AIが賢くなるほど、検証が難しくなる」ということ

最後に、一番大事なことを言う。

今回の研究が示す本質的な問題は、AIの推論能力が上がるほど、嘘が巧妙になるということだ。下手なAIの嘘は見抜ける。だが、高性能な推論モデルが「もっともらしいロジック」で嘘をつくと、専門家でも見抜けないケースが出てくる。

これは中小企業にとって、二重の意味で危険だ。

1つ目は、判断ミスによる直接的な損失。先述の500万円のような話だ。

2つ目は、「AIに任せておけば大丈夫」という思考停止。これが組織に染み付くと、人間の判断力そのものが劣化する。AIが間違えたとき、誰も気づけない組織になる。

逆に言えば、ここにチャンスがある。「AIの出力を正しく疑える人材」の価値は、今後爆上がりする。 大企業はAI検証の専門チームを作るだろう。だが中小企業は、経営者自身がその目を持てばいい。組織が小さいからこそ、意思決定者とAIの距離が近い。検証のスピードも速い。

大企業が100人のチームで回すAIガバナンスを、中小企業は社長の「本当か？」の一言で代替できる。これは、中小企業だからこそできることだ。

—

まとめ：AIは「優秀だが嘘つきの部下」だと思え

AIは使うべきだ。コスト削減効果は本物だし、情報収集のスピードは人間の比ではない。月額2,000〜3,000円で、24時間働くリサーチャーが手に入る時代だ。使わない手はない。

だが、その部下は嘘をつく。しかも、自信満々に。悪気なく。

信じるな。活用しろ。裏を取れ。

それが、AIと共に経営判断をする時代の基本動作だ。

—