AIが書いたレポートの引用は存在しなかった——「嘘をつくAI」に中小企業はいくらまで賭けていいのか
Related Articles

結論から言う。AIは嘘をつく。問題は「どの業務なら、その嘘を許容できるか」だ。
AIが書いたレポートの引用元をたどったら、その論文は存在しなかった。著者名も、ジャーナル名も、DOIも、すべてでっちあげ。これは都市伝説ではない。弁護士がChatGPTに判例調査をさせたところ、存在しない判例を6件引用して裁判所に提出し、制裁を受けた事例が2023年に実際に起きている。
AIが生成する「もっともらしい嘘」——ハルシネーションと呼ばれるこの現象は、GPT-4でも完全には消えていない。OpenAIの技術レポートによれば、GPT-4のハルシネーション率はGPT-3.5から改善されたものの、事実性の評価で約80%程度の正確性にとどまる。つまり、5回に1回は何かしら事実と異なることを言う可能性がある。
これを聞いて「じゃあ使えないじゃないか」と思うか、「5回中4回は合ってるなら使い方次第だ」と思うか。ここが分かれ目だ。
中小企業にとって本当に考えるべきは、「AIは信用できるか」ではない。「AIの出力を検証するコストが、人間にやらせるコストより安いかどうか」だ。
AIの嘘で実害が出た事例を直視する
まず、何が起きているかを正確に把握しよう。
判例でっちあげ事件(2023年・米国)
ニューヨークの弁護士がChatGPTを使って準備書面を作成。AIが引用した判例6件がすべて架空だった。裁判所から制裁金5,000ドル(約75万円)を課された。弁護士のキャリアへのダメージは金額に換算できない。
AIコードの安全性問題
スタンフォード大学の研究では、AIコーディングアシスタントを使った開発者は、使わなかった開発者と比較してセキュリティ的に脆弱なコードを書く割合が高かった。さらに厄介なのは、AI支援を受けた開発者ほど「自分のコードは安全だ」と自信を持っていたことだ。つまり、AIは嘘をつくだけでなく、人間の検証意識まで下げる。
存在しない引用の混入率
Purdue大学の調査では、Stack Overflow上の質問に対するChatGPTの回答のうち、52%以上に不正確な情報が含まれていた。しかし回答の文体が流暢なため、77%のケースで人間は誤りを見抜けなかったという。
ここに中小企業にとっての本質的なリスクがある。AIの嘘は、嘘に見えない。
「検証コスト」で業務を3つに分ける
抽象的に「AIは危険」「AIは便利」と言っても意味がない。業務ごとに検証コストを試算して、使える・使えないを仕分けする。これが現場にとって唯一役に立つ判断基準だ。
ランクA:検証コストほぼゼロ。今すぐ使え。
① 社内向けの議事録・要約作成
- 会議の録音をAIで文字起こし+要約。外部に出さない社内文書なので、多少の誤りがあっても実害はほぼない。
- 人間がやった場合のコスト:1時間の会議で約30〜60分の作業。時給2,000円として1,000〜2,000円/回。
- AIのコスト:Whisper+GPT-4で1回あたり約50〜100円。
- コスト削減率:95%以上。 検証は「ざっと目を通す」で十分。5分。
② 社内メール・チャットの下書き
- 定型的な連絡、日報、報告メールの下書き。送信前に本人が目を通すので、検証コストは「読む時間」だけ。
- 月に100通のメールを書く社員なら、1通5分の短縮で月8時間以上の削減。
③ アイデア出し・ブレインストーミング
- 新商品のネーミング案、キャッチコピーの候補、企画の切り口。正解がない領域なので「嘘」という概念自体がない。
- 外注すれば1案件5〜20万円。AIなら数分で50案出る。そこから人間が選ぶ。
ランクB:検証コストをかければ使える。コスパを計算しろ。
④ ブログ・SNS・プレスリリースの下書き
- 外部に出す文章なので、ファクトチェックは必須。ただし、ゼロから人間が書くのと比べれば、AIに下書きさせて人間が修正するほうが速い。
- 人間がゼロから書く場合:1本あたり2〜4時間(外注なら3〜10万円)。
- AI下書き+人間修正:30分〜1時間。ファクトチェック込みで1時間半。
- コスト削減率:50〜70%。 ただし「チェックする人間のスキル」が必要。
⑤ リサーチ・市場調査の初期段階
- 業界動向の概要把握、競合リストの作成、技術トレンドの整理。AIに「たたき台」を作らせて、人間が裏取りする。
- 注意点:AIが出す数字や出典は必ず原典にあたること。ここを省略すると判例でっちあげ事件の二の舞になる。
- 裏取りのコスト:1レポートあたり1〜3時間。それでもゼロからリサーチするより60%は速い。
⑥ プログラミングの補助
- 定型的なコード生成、既存コードの解説、テストコードの作成。GitHub Copilotの調査では開発速度が55%向上したというデータがある。
- ただし、セキュリティに関わるコード、認証・決済まわりのロジックは必ず人間がレビュー。コードレビューのコストは1機能あたり30分〜2時間。
- 削減されるのは「書く時間」であって「考える時間」ではない。 ここを勘違いすると事故が起きる。
ランクC:AIに任せるな。人間がやれ。
⑦ 契約書・法務文書の作成
- 一文字の間違いが数百万円の損害につながる世界。AIの下書きを「参考にする」のは構わないが、最終判断は必ず専門家。
- 検証コスト:弁護士のレビュー1件あたり3〜30万円。これをケチると、先の弁護士のように制裁金+信用失墜。
- AIで削減できるコストより、事故が起きたときの損害のほうがはるかに大きい領域。
⑧ 補助金申請書・行政提出書類
- 数値の正確性、法令への準拠が絶対条件。AIが「それっぽい」文章を書いてくれるが、要件を満たしていなければ不採択。不正確な記載は最悪の場合、返還請求や処分の対象になる。
⑨ 顧客への正式な提案書・見積書
- AIが出した数字をそのまま見積もりに載せて、原価割れで受注した——という事故は実際に起き始めている。顧客との信頼関係に直結する文書は、人間の最終判断が不可欠。
中小企業にとっての「正しい賭け方」
ここまで整理すると、構造は単純だ。
| 検証コスト | 事故の損害 | 判定 | |
|---|---|---|---|
| ランクA | ほぼゼロ | 小さい | 今すぐ全力で使え |
| ランクB | 中程度 | 中程度 | コスパを計算して使え |
| ランクC | 高い | 致命的 | AIは補助。判断は人間 |
中小企業が月に使えるAI関連予算は、現実的に見て3〜10万円程度だろう。ChatGPT Plusが月3,000円、Claudeが月3,000円、専用ツールを入れても月5万円あれば十分な環境が作れる。
3年前なら外注に月50万円かけていた業務が、月5万円のAIツール+社内の検証工数で回る。この「45万円の差額」が、中小企業にとってのAIの本当の価値だ。
ただし、その45万円を手にするための条件がある。
「AIの出力をチェックできる人間」が社内にいること。
これがないと、ランクBの業務がすべてランクCになる。検証できる人がいなければ、AIの出力は「信用できない文章」でしかない。
で、結局どうすればいいのか
3つだけやればいい。
1. まずランクAの業務にAIを入れろ。今週中に。
議事録、メール下書き、アイデア出し。リスクがほぼゼロで、効果がすぐ出る。ここで「AIを使う筋肉」を社内につける。月のコストは3,000〜5,000円。やらない理由がない。
2. ランクBは「検証できる人間」とセットで導入しろ。
ブログ、リサーチ、コーディング補助。AIの下書き+人間の仕上げ。このペアが回り始めたら、外注費が月20〜50万円浮く会社もある。ただし、検証者のスキルが低いと事故る。まず検証者を育てろ。
3. ランクCでAIを使うなら、「下書き」までと決めろ。
最終判断は人間。専門家のレビューコストはケチるな。AIで浮いた金の一部を、ここに回せ。
AIは嘘をつく。これは欠陥ではなく、現時点での仕様だ。
問題は嘘をつくかどうかではない。その嘘に気づける体制を、あなたの会社が持っているかどうかだ。
月5万円のAI投資で年間500万円分の業務を回せる時代が来ている。ただし、その5万円の使い方を間違えれば、500万円の損害にもなる。
賭けるなら、勝てる場所に賭けろ。
—
JA
EN