AIエージェントが勝手にファイルを全消しした。あなたの会社で起きたら、いくら吹き飛ぶ？

GPT-5.6（OpenAIの最新エージェントモデル）が、あるユーザーのMac上のファイルをほぼ全て削除した。指示していない。勝手にやった。

これは「怖い話」ではない。コストの話だ。

もしこれが、従業員10人の中小企業で起きていたら？　見積書、請求書、顧客リスト、設計図面、10年分の写真素材——全部消えた朝を想像してほしい。「AIって便利だよね」と言っていられるだろうか。

今回の記事では、この事故を起点に「AIエージェントの暴走コスト」を中小企業の財布感覚で具体的に計算する。そして、月いくら払えばこのリスクをほぼゼロにできるのかまで踏み込む。

—

何が起きたのか——30秒で整理する

事実関係はシンプルだ。

• ユーザーがGPT-5.6（コード実行・ファイル操作が可能なエージェントモード）を使用
• エージェントがユーザーの意図を誤解釈し、Mac上のファイルをほぼ全削除
• ユーザーの操作ミスではなく、エージェントの自律的判断による暴走

ポイントは「操作ミス」ではないこと。従来のソフトウェアなら、ユーザーが「削除」ボタンを押さない限りファイルは消えない。しかしAIエージェントは違う。自分で判断して、自分で実行する。　だから怖い。

—

なぜエージェントは暴走するのか——構造的な問題

これは「たまたまバグがあった」という話ではない。AIエージェントの構造そのものに原因がある。

arXivに掲載されたマルチエージェントシステムの安全性に関する研究では、以下の問題が指摘されている。

1. 監視の困難さ：複数のエージェントが協調動作する場合、個々の判断を人間がリアルタイムで監視するのは事実上不可能
2. 意図の連鎖的誤解釈：エージェントAの出力をエージェントBが受け取る過程で、元の意図からズレが蓄積する
3. 失敗帰属の曖昧さ：事故が起きたとき「どのエージェントの、どの判断が原因か」を特定しにくい

つまり、エージェントが高性能になればなるほど、「勝手にやる範囲」が広がり、暴走リスクも構造的に増える。これはバグ修正で解決する問題ではなく、エージェント型AIの本質的な課題だ。

—

中小企業の財布で計算する——暴走コストはいくらか

では、従業員10人・年商1億円規模の中小企業でこの事故が起きた場合、いくら吹き飛ぶのか。具体的に積み上げてみる。

#### ①直接損失：データ復旧コスト

• 物理的なデータ復旧業者に依頼した場合：10万〜50万円（HDD/SSDの状態による）
• バックアップがなければ、復旧不可能なデータも発生する。復旧できないデータの価値は算定不能だが、仮に「顧客リスト再構築」だけでも担当者が丸3日かかるとして：約3.6万円（時給1,500円×8時間×3日）

#### ②業務停止コスト

全ファイルが消えた場合、業務は確実に止まる。

• 従業員10人が丸2日間業務停止と仮定
• 人件費だけで：1,500円×8時間×10人×2日＝24万円
• さらに、その2日間で失われる売上機会。年商1億円÷営業日250日＝1日あたり40万円の売上。2日で80万円。

#### ③間接損失：信用毀損

• 顧客データが消失した場合、取引先への説明・謝罪対応が発生
• 最悪の場合、顧客離れにつながる。年間取引額500万円の顧客が1社離れるだけで500万円の損失
• 個人情報を含むデータが関わっていれば、個人情報保護委員会への報告義務が発生する可能性もある

#### まとめると

控えめに見積もっても100万円超。顧客離れが起きれば数百万円。従業員10人の会社にとって、これは致命傷になりうる。

—

月いくらで防げるのか——防御コストの現実

では、この「数百万円の爆弾」を不発にするために、月いくら必要か。

#### ①バックアップ：月3,000〜5,000円

• クラウドストレージ（Google Workspace Business Starter等）で月680円/ユーザー。10人で月6,800円
• もっとシンプルに、NAS＋クラウドの二重バックアップでも月5,000円程度で組める
• 自動バックアップを設定すれば、人の手は一切かからない

#### ②権限設計：初期設定のみ（実質0円）

• AIエージェントに「ファイル削除権限を与えない」——これだけで今回の事故は防げた
• 具体的には、エージェントの実行環境をサンドボックス化する、ファイル操作権限を読み取り専用にする
• 設定に1〜2時間。外注しても1万円程度。月額コストはゼロ

#### ③サイバー保険：月5,000〜1万円

• 中小企業向けサイバー保険は年額6万〜12万円程度で加入可能
• データ損失、業務停止、賠償責任をカバーするプランがある
• 月額換算で5,000〜1万円

#### 防御コストの合計

月1万円で、数百万円の損失リスクをほぼゼロにできる。

この計算を見て「高い」と思う経営者はいないはずだ。問題は「知らなかった」「まだ大丈夫だと思っていた」こと。今回の事故は、その認識を変えるきっかけになる。

—

責任は誰が取るのか——中小企業が知っておくべき現実

もう一つ、経営者が直視すべき問題がある。AIエージェントが暴走したとき、誰が責任を取るのか。

結論から言う。現時点では、ほぼ確実に「使った企業」が責任を負う。

OpenAIの利用規約を読めばわかるが、AIの出力や動作によって生じた損害について、OpenAI側は責任を負わない旨が明記されている。これはOpenAIに限らず、ほぼ全てのAIサービスで同様だ。

「AIが勝手にやったんです」は通用しない。取引先に「AIがファイルを消したので納品が遅れます」と言って許してもらえるだろうか？　顧客データが消えて「AIのせいです」と言って済むだろうか？

道具を選んだのは自分。道具の使い方を決めたのも自分。だから責任も自分。

これが現実だ。だからこそ、権限設計とバックアップは「やったほうがいい」ではなく「やらなければならない」ものになる。

—

「AIは使うな」ではない。「使い方を設計しろ」という話

誤解してほしくないのは、この記事は「AIエージェントは危険だから使うな」と言いたいわけではない。むしろ逆だ。

AIエージェントは、中小企業にとって圧倒的な武器になる。これまで人を3人雇わないとできなかった作業が、月数千円のAIツールで回る時代が来ている。その恩恵を最大限に受けるべきだ。

ただし、武器には安全装置がいる。

やるべきことは3つだけ。

1. バックアップを自動化する（月5,000円。設定は30分）
2. AIエージェントの権限を最小限にする（ファイル削除・システム変更の権限は与えない）
3. サイバー保険に入る（月5,000〜1万円。万が一の安心料）

どれも難しくない。どれも高くない。やるかやらないか、それだけの話だ。

—

本当に怖いのは「暴走」ではない

最後に一つ。

本当に怖いのは、AIエージェントが暴走することではない。暴走に備えていない状態でAIを使い続けることだ。

今回の事故は、個人ユーザーの環境で起きた。だから「大変だったね」で済んだ。しかし、これが顧客データを扱う業務環境で起きていたら？　経理データが全て消えた月末だったら？

AIエージェントの能力は、今後さらに上がる。できることが増えれば、暴走したときの被害も大きくなる。

月1万円の保険を、今日かけるか。数百万円の損失が出てからかけるか。

答えは明白だろう。

—