4,732通のメッセージの果てに、人が死んだ

AIチャットボットに4,732通のメッセージを送った男性が、命を絶った。

これは海外の話だ。だが「うちには関係ない」と思った中小企業の経営者は、一度立ち止まってほしい。あなたの会社が導入したチャットボット、「どこまでAIに任せるか」のラインを明確に引いているだろうか？

引いていないなら、あなたの会社は潜在的な加害者になりうる。大げさではなく、構造的にそうなっている。

何が起きたのか——事実を整理する

この男性は、Character.AIというサービス上のチャットボットと日常的に対話を続けていた。AIは「人間らしく」応答し、男性は次第にAIとの関係に感情的な依存を深めた。最終的に、彼の精神状態は深刻に悪化し、自ら命を絶つに至った。遺族はCharacter.AIを提訴している。

ここで重要なのは、AIが「殺した」のではないということだ。AIは指示通りに応答しただけだ。問題は、人間が介在すべきタイミングで、誰も介在しなかったこと。つまり設計の問題であり、運用の問題だ。

そしてこの構造は、顧客対応にチャットボットを導入しているすべての企業に当てはまる。

「便利だから入れた」で止まっていないか

中小企業がチャットボットを導入する理由は明快だ。人件費の削減。24時間対応。問い合わせ対応の効率化。

実際、月額1万〜5万円程度のチャットボットサービスで、これまでパート1人分（月15万〜20万円）かかっていた一次対応を自動化できるケースは多い。コストは3分の1以下になる。導入しない理由がない。

だが、「入れた」で終わっている企業がほとんどだ。

• チャットボットが答えられない質問が来たとき、どうエスカレーションするか決めているか？
• 顧客が感情的になったとき（クレーム、不安、怒り）、人間に切り替わる設計になっているか？
• AIが誤った情報を返したとき、それを検知する仕組みがあるか？

この3つに即答できない企業は、「便利だから入れた」で止まっている。そしてそれは、事故が起きたときに「想定外でした」と言うことと同義だ。

免責条項では守れない——中小企業が見落とすリスク構造

「利用規約に免責事項を入れてあるから大丈夫」。そう考えている経営者は多い。

甘い。

日本の消費者契約法では、事業者の故意または重過失による損害賠償責任を免除する条項は無効とされる。つまり、「AIが勝手にやったこと」は免責の理由にならない可能性が高い。

具体的に考えてみよう。

• 健康食品を販売する企業のチャットボットが「この商品で病気が治ります」と回答した
• 不動産会社のチャットボットが「この物件は事故物件ではありません」と誤回答した
• 保険代理店のチャットボットが「この場合は保険が適用されます」と誤案内した

いずれも、AIが生成した回答の責任は、導入した企業に帰属する。これは現行法の枠組みで十分に起こりうることだ。

大企業なら法務部門が設計段階からリスクを潰す。だが中小企業には法務部門がない。だからこそ、「AIに何を答えさせて、何を答えさせないか」を経営判断として決める必要がある。

「人が介在すべきライン」は、意外とシンプルに引ける

難しく考える必要はない。以下の3つのルールで、リスクの大半は回避できる。

ルール1：事実の断定はAIにさせない

FAQ（よくある質問）への定型回答はAIに任せていい。「営業時間は9時〜18時です」「駐車場は3台分あります」。これは事実の提示であり、リスクは低い。

だが、判断を伴う回答はAIにさせてはいけない。「この商品はあなたに合っています」「この契約内容で問題ありません」。こうした回答は、必ず人間が行う設計にする。

ルール2：感情が絡んだら人間に切り替える

チャットボットのログを分析すると、顧客が感情的になるポイントはパターン化できる。「怒っている」「不安を訴えている」「繰り返し同じ質問をしている」。こうしたシグナルを検知したら、自動的に人間のスタッフに引き継ぐフローを組む。

今のチャットボットサービスの多くは、キーワードトリガーや感情分析による自動エスカレーション機能を備えている。追加コストはほぼゼロだ。設定するかしないかだけの問題。

ルール3：AIの回答範囲を「狭く」設定する

中小企業のチャットボットに、汎用的な会話能力は不要だ。むしろ危険だ。回答範囲を意図的に狭くし、「この質問にはお答えできません。担当者におつなぎします」と返す設計にする。

AIは「何でも答えられる」から価値があるのではない。「答えるべきことだけ正確に答える」から価値がある。

Z世代のAI離れが示すもの

Gallupの調査によれば、Z世代（1997〜2012年生まれ）のAIに対する期待感は低下傾向にある。2023年にはAIに「非常に期待している」と答えた割合が他世代より高かったが、2024年にはその数値が下がっている。

これは「飽きた」のではなく、AIの限界を体感として知っている世代が増えているということだ。AIチャットボットに話しかけて、的外れな回答をされた経験。感情を理解してもらえなかった経験。そうした「がっかり体験」の蓄積が、期待値を下げている。

中小企業にとって、これは重要なシグナルだ。顧客はAIの限界をすでに知っている。だからこそ、「ここから先は人間が対応します」という切り替えが、逆に信頼を生む。AIを入れつつ、人間が出てくるポイントを設計することが、大企業にはできない「中小企業の強み」になる。

大企業は効率化のためにAIで完結させたがる。だが中小企業は、顧客との距離が近い。その距離の近さを、AIと人間の役割分担で「仕組み」にできるかどうか。ここが勝負の分かれ目だ。

「まず、ログを見ろ」——今日からできること

すでにチャットボットを導入している企業は、今日やるべきことがある。

チャットボットのログを直近1ヶ月分、全部読め。

読めば分かる。AIが的外れな回答をしている箇所。顧客が同じ質問を繰り返している箇所。感情的になっている箇所。そこが「人間が介在すべきライン」だ。

ログを読むのに必要な時間は、月間100件程度の問い合わせなら2〜3時間。コストはゼロ。だが、この2〜3時間が、訴訟リスクと顧客離れを防ぐ。

まだ導入していない企業は、導入前に「AIに答えさせること」と「人間が答えること」のリストを作ることから始めればいい。A4一枚で十分だ。

AIは道具だ。道具の使い方を決めるのは人間だ

冒頭の事件に戻る。AIチャットボットで人が死んだ。だがAIに悪意はない。設計と運用の問題だ。

中小企業がチャットボットを使うこと自体は、正しい判断だ。コスト削減効果は明確で、顧客対応の品質を一定水準に保てる。月1万〜5万円で、24時間の一次対応が手に入る。これを使わない手はない。

だが、「どこまで任せるか」を決めずに使うのは、ブレーキのない車を走らせるのと同じだ。

事故が起きてから「想定外でした」と言っても、顧客は戻ってこない。信頼も戻ってこない。

今日、ログを開こう。A4一枚のルールを作ろう。それだけで、あなたの会社のチャットボットは「便利な道具」から「信頼を生む仕組み」に変わる。

—