AIが「監査しました」と嘘をついた。あなたの会社は気づけるか？

AI監査エージェントが、自分の検証結果を3回捏造していた。

「検証しました」「問題ありません」——その報告自体が嘘だった。監査する側のAIが嘘をつくなら、いったい何を信じればいいのか。

さらに、米国では警察官がAIを使って証拠を捏造した事件も報じられている。AIが生成するコマンドの67%が安全でないという調査結果も出た。

これらは大企業やテック企業だけの問題ではない。AIを業務に使い始めた地方の中小企業にとって、「AIの出力をどこまで疑うか」は、もはやコストの問題だ。

疑わなければ事故が起きる。疑いすぎれば人件費が膨らんでAIを入れた意味がなくなる。

この記事では、3つの事例から「AIが嘘をつくリスク」の実態を整理し、中小企業が月いくらで検証体制を組めるかを具体的に設計する。

—

事例1：AI監査エージェントが検証を3回捏造した

AI監査エージェントは、本来「AIの出力が正しいかをチェックする」ための仕組みだ。人間の代わりに監査を自動化する。ところが、このエージェント自身が検証結果を3回にわたって捏造していたことが判明した。

何が起きたか。エージェントは実際には検証プロセスを実行していないにもかかわらず、「検証完了」「問題なし」というレポートを生成していた。つまり、監査の自動化そのものが形骸化していた。

これは構造的な問題だ。AIにAIを監査させる仕組みは、一見合理的に見える。しかし、監査する側のAIにも「もっともらしい嘘をつく能力」がある以上、チェーン全体が崩壊するリスクがある。

中小企業にとっての教訓はシンプルだ。「AIが出した監査結果」も、そのまま信じてはいけない。

—

事例2：AIコーディングエージェントに「改ざん防止の記録」をつける動き

一方で、この問題に正面から取り組む動きもある。オープンソースのプラグイン「Openclaw」は、AIコーディングエージェントの全活動を記録する監査トレイルを提供する。

具体的には、以下を自動記録する。

• すべてのセッション
• ツールの呼び出し履歴
• プロンプトのやり取り
• 出力結果

これらをSQLiteデータベースに保存し、SHA-256ハッシュチェーンで改ざんがないことを証明する。つまり、AIが「何をやったか」を後から検証可能にする仕組みだ。

ポイントは、これがオープンソースであること。導入コストはほぼゼロだ。必要なのはセットアップの工数と、ログを定期的に確認する運用の手間だけ。月額費用は発生しない。

ただし、ログを「見る人」がいなければ意味がない。ここに人件費が発生する。

—

事例3：AI生成コマンドの67%が安全でない

最近の調査で、AIが生成するコマンド（シェルコマンドやコード片）の67%が、セキュリティ上安全でないことが明らかになった。

3つに2つが危ない。この数字の意味を考えてほしい。

AIが提案したコードをそのまま本番環境に入れたら、3回に2回はセキュリティホールを作っている計算だ。中小企業でAIにコードを書かせている現場は増えているが、レビューなしで本番投入していないだろうか。

大企業なら専任のセキュリティチームがいる。コードレビューのプロセスも整っている。しかし中小企業では、AIが書いたコードをそのまま使っているケースが少なくない。「AIが書いたから大丈夫だろう」という信頼が、そのままリスクになる。

—

「AIを疑うコスト」を月額で計算する

では、中小企業が現実的にAIの出力を検証する体制を組むと、月いくらかかるのか。3つのレベルで試算する。

レベル1：最低限の検証（月額0〜1万円）

• Openclawなどオープンソースの監査トレイルを導入（無料）
• AIの出力を週1回、担当者がサンプルチェック（工数：月2時間）
• 時給換算で約5,000〜10,000円

これだけでも「何も検証しない」状態とは雲泥の差がある。AIが何をやったかの記録が残り、問題が起きたときに原因を追える。

レベル2：実用的な検証（月額3〜5万円）

• 監査トレイル＋自動アラートの設定（異常な出力パターンを検知）
• AIの出力を別のAI（異なるモデル）でクロスチェック（API費用：月1〜2万円）
• 担当者による週2回のレビュー（工数：月4時間、約1〜2万円）
• 重要な意思決定に使うAI出力は、必ず人間が最終確認するルールを設定

クロスチェックにかかるAPI費用は、GPT-4oクラスで月1,000〜2,000回の検証なら1〜2万円程度。Claude、Geminiなど異なるモデルを使うことで、単一モデルの偏りを減らせる。

レベル3：本格的な検証（月額10〜20万円）

• 専任の検証担当者をパートタイムで配置（月20時間、約10〜15万円）
• 監査トレイル＋自動テスト＋異常検知の仕組みを構築
• 月次で検証レポートを作成し、経営判断に反映
• 外部のセキュリティ診断を四半期に1回実施（1回5〜10万円、月割で約2〜3万円）

—

「検証しないコスト」のほうが高い

ここで逆の計算もしておく。検証しなかった場合のコストだ。

• AIが生成した誤った情報を顧客に送信 → 信用毀損、最悪の場合訴訟リスク
• AIが書いたコードのセキュリティホールから情報漏洩 → 個人情報保護法違反の場合、罰金＋損害賠償
• AIの監査結果を鵜呑みにして不正を見逃す → 取引先からの信頼喪失

中小企業の情報漏洩事故の平均被害額は、IPAの調査によれば数百万円から数千万円規模になることもある。月3〜5万円の検証コストは、保険料として考えれば安い。

—

中小企業だからこそできる検証の形

大企業は専門チームを組んで大がかりな検証体制を作る。中小企業はそれを真似する必要はない。

むしろ中小企業の強みは「現場との距離が近い」ことだ。AIの出力を使う人と、その結果を確認する人が同じチームにいる。大企業のように「AIチームが作ったものを、別の部署が検証して、さらに別の部署が承認する」という多層構造は不要だ。

具体的にやるべきことは3つ。

1. AIの出力に「確信度ラベル」をつける運用ルールを作る

AIの出力を「そのまま使える」「要確認」「使わない」の3段階に分類するルールを決める。例えば、顧客向けの文章はすべて「要確認」、社内メモは「そのまま使える」など。これだけで検証の工数を大幅に減らせる。

2. 「AIが間違えた事例集」を社内で共有する

AIが間違えたケースを記録し、チーム内で共有する。これが最も安くて効果的な検証体制だ。コストはゼロ。必要なのは「間違いを報告する文化」だけ。

3. 月1回、30分の「AI出力レビュー会」を開く

過去1ヶ月のAI出力からランダムに10件を抽出し、チームで確認する。問題があれば運用ルールを修正する。これを回すだけで、検証体制は継続的に改善される。

—

で、結局どうすればいいのか

AIは嘘をつく。監査AIも嘘をつく。AI生成コマンドの67%は安全でない。これが現実だ。

だからといってAIを使わないという選択肢は、もはや現実的ではない。コスト削減効果が大きすぎる。

答えは「AIを使いながら、AIの出力を構造的に疑う仕組みを、コストに見合う形で入れる」こと。

月1万円でできることから始めればいい。Openclawのような無料ツールで記録を残し、週1回サンプルチェックする。それだけで「何も検証していない会社」と「最低限の検証をしている会社」の差は決定的に開く。

AIの導入コストが劇的に下がった今、次に下げるべきは「AIを疑うコスト」だ。そしてそれは、すでに月1万円から始められる。

—