罰金5000ドルで済んだのは弁護士だから。中小企業なら、会社が吹き飛ぶ

ニューメキシコ州の弁護士スティーブン・アーロンズが、ChatGPTで作った「架空の証人証言」を裁判所に提出して罰金5000ドルを食らった。殺人事件の上訴で、存在しない証人の供述、でっち上げの警察証言をAIに書かせ、中身を確認せずそのまま出した。州最高裁は「軽率」と断じ、法廷侮辱で処分した。

5000ドル。日本円で約75万円。弁護士個人にとっては痛いが、致命傷ではない。

だが、これが中小企業だったらどうか。

AIが吐いた嘘の責任を取るのは、AIではない。使った人間であり、その人間が属する会社だ。 ここを甘く見ている中小企業が、まだ多すぎる。

—

何が起きたのか——事実を整理する

アーロンズ弁護士がやったことはシンプルだ。

1. クライアントの殺人有罪判決を覆すための上訴書面を準備
2. ChatGPTに「完璧な要約」を作らせた
3. AIが生成した文書には、実在しない証人の証言と偽の警察供述が含まれていた
4. 弁護士はその内容を事実確認せず、裁判所に提出
5. 州最高裁が虚偽を発見し、罰金5000ドルと法廷侮辱の処分

ポイントは「悪意」ではなく「怠慢」だったこと。アーロンズは意図的に嘘をつこうとしたわけではない。AIの出力を鵜呑みにしただけだ。

これが怖い。悪意なら防げる。「まさかAIが嘘をつくとは思わなかった」は、防げない。

—

AIのハルシネーションは「バグ」ではなく「仕様」

大規模言語モデル（LLM）は、もっともらしい文章を生成するのが仕事だ。「正しい文章」を生成するのが仕事ではない。ここを混同すると、アーロンズと同じことが起きる。

2023年にニューヨークでも似た事件があった。弁護士がChatGPTで判例を調べさせたら、存在しない判例を6件でっち上げてきた。裁判官名も、引用条文も、すべて架空。弁護士はそのまま提出し、制裁を受けた。

これは特殊な事例ではない。AIを使ったことがある人なら、一度は「もっともらしいが完全に間違っている出力」に遭遇しているはずだ。 問題は、それが専門外の領域だったとき、嘘を見抜けるかどうかだ。

弁護士ですら見抜けなかった。では、法務部門を持たない従業員10人の会社が見抜けるか？

—

中小企業にとっての「AIの嘘」——3つの爆弾

抽象論ではなく、具体的にどこで爆発するかを考える。

爆弾1：契約書の地雷

「契約書のドラフトをAIに書かせる」は、もう珍しくない。中小企業こそ顧問弁護士に毎回頼む余裕がなく、AIで済ませたくなる。

だが、AIが生成した契約書に存在しない法的条項が入っていたら？ 相手に有利な免責条項を「一般的な文言」として挿入していたら？

実際のコスト感を考えてみる。

• 契約トラブルの弁護士費用：着手金30〜50万円＋成功報酬
• 訴訟に発展した場合：100〜500万円（中小企業の一般的な商事訴訟）
• 取引先との関係破壊：売上の10〜30%が1社依存なら、その分が消える

顧問弁護士に契約書レビューを頼めば3〜10万円。AIに丸投げして爆発したら100万円超。コストを下げようとして、コストを10倍にする構造がここにある。

爆弾2：顧客対応チャットボットの暴走

カナダのエア・カナダの事例が象徴的だ。AIチャットボットが「近親者の死亡後に航空券を購入した場合、事後的に割引が適用される」と顧客に回答した。実際にはそんなポリシーは存在しない。顧客がその回答を信じて航空券を購入し、割引を請求。エア・カナダは裁判で負けた。

「AIが勝手に言ったこと」は、会社が言ったことと同じ扱いになる。 これが判例で確定した意味は大きい。

中小企業がECサイトにAIチャットボットを導入して、存在しない返品ポリシーや、誤った製品スペックを案内したらどうなるか。

• 返品・交換対応コスト：1件あたり数千〜数万円
• 集団的に発生した場合：数十万〜数百万円
• SNSで拡散された場合の信用毀損：算定不能

月額数千円のチャットボットが、数百万円の損害を生む。導入コストが安いからこそ、チェック体制なしで走らせてしまう。 これが中小企業特有の落とし穴だ。

爆弾3：社内文書が「証拠」になる

見落とされがちだが、最も危険なのがこれだ。

AIで作成した社内の議事録、報告書、人事評価コメント。これらは労働紛争や訴訟の際に証拠として提出される可能性がある。

AIが生成した人事評価に「業績不振が継続」と書かれていたが、実際の数値データと矛盾していた場合。不当解雇の訴訟で、会社側の主張の信頼性が根底から崩れる。

• 不当解雇の和解金：中小企業でも100〜300万円が相場
• 労働審判の費用：50〜100万円
• AI生成文書の信頼性が争点になった場合、立証コストがさらに上乗せ

AIが書いた文書は、あなたの会社が書いた文書だ。 「AIが勝手に書きました」は、法的に一切通用しない。

—

「で、どうすればいいのか」——中小企業の現実的な対策

「AIを使うな」は答えにならない。コスト削減効果は本物だし、使わない企業は競争力を失う。問題は使い方だ。

1. 「AIは下書き係」と割り切る

AIの出力を最終版にしない。必ず人間がレビューする。これだけで、今回の弁護士の事件は防げた。

具体的には、AI生成物には社内で「ドラフト」のラベルを必ず付ける運用ルールを作る。ラベルなしで外部に出したら、それ自体がインシデント扱い。シンプルだが効く。

2. 「爆発半径」で使い分ける

• 爆発半径・小（社内ブレスト、アイデア出し、文章の叩き台）→ AIフル活用。チェックは軽めでOK
• 爆発半径・中（顧客向けメール、ブログ記事、提案資料）→ AI活用＋人間レビュー必須
• 爆発半径・大（契約書、法的文書、人事関連、顧客への公式回答）→ AI活用＋専門家レビュー必須

すべてに同じチェック体制を敷くのは非現実的。リスクの大きさでメリハリをつける。 これが中小企業のリソースで回せる現実解だ。

3. 「AIが間違える前提」の契約・規約を整備する

チャットボットを導入するなら、利用規約に「AIによる回答は参考情報であり、正式な契約条件ではない」と明記する。エア・カナダはこれをやっていなかったから負けた。

顧問弁護士に規約のレビューを頼んでも5〜10万円。訴訟で負けたら数百万円。保険と同じで、事前の数万円をケチると事後の数百万円が来る。

4. 「月1回、AIの嘘を探す会」をやる

大げさな監査体制は要らない。月に1回、30分でいい。直近1ヶ月でAIが生成した主要な文書を3〜5本ピックアップし、事実関係を確認する。AIがどんな嘘をつくか、パターンを社内で共有するだけで、リテラシーは劇的に上がる。

—

本当のリスクは「罰金」ではない

5000ドルの罰金は見出しとしてはキャッチーだが、本質はそこじゃない。

アーロンズ弁護士は罰金に加えて、弁護士としての信用を失った。 クライアントの上訴は台無しになり、殺人で有罪判決を受けた被告人の人生に直接影響した。

中小企業にとっての「信用」は、大企業のそれとは重みが違う。大企業は不祥事があっても組織の厚みで耐えられる。従業員10人の会社が「あの会社、AIで嘘の契約書を作った」と言われたら、地域での商売は終わる。

AIのコストが下がったことで、「使わないリスク」は確実にある。だが同時に、「確認せずに使うリスク」も同じだけ大きくなっている。

AIは優秀な下書き係であり、最悪の意思決定者だ。この区別がつく会社だけが、AIの恩恵を受けられる。

あなたの会社では、AIの出力を誰が最終チェックしているか。即答できないなら、それが今日やるべき最初の仕事だ。

—