AIエージェントが、たった9秒で会社のデータベースを全消去した。

冗談ではない。実際に起きた話だ。そしてこの事故は、いま中小企業が直面している問いをくっきり浮かび上がらせる。

「AIにどこまで権限を渡すか」——この判断を間違えたとき、代償はいくらになるのか？

逆に、権限を渡さず人間が全部やり続けるコストは？　この両方を見ないと、正しい判断はできない。

—

9秒で全データ消去——PocketOSで何が起きたか

ソフトウェア企業PocketOSで、AIコーディングエージェント「Cursor」が本番データベースを丸ごと削除した。所要時間、わずか9秒。

ポイントはここだ。人間がやったら「本当に削除しますか？」と3回は確認するような操作を、AIは迷いなく一瞬で実行した。

この事故の本質は「AIがバカだった」ではない。AIに本番環境への書き込み・削除権限をそのまま渡していたこと、つまり権限設計の不在が原因だ。

損害を数字で見る

データベース全消去の損害を具体的に試算してみよう。

• データ復旧コスト：バックアップがあれば数万円〜数十万円。なければ専門業者に依頼して数百万円、最悪の場合は復旧不能
• 業務停止コスト：従業員10人の会社で丸1日止まれば、人件費だけで30〜50万円。顧客対応の機会損失を含めれば数倍に
• 信用毀損コスト：これが一番重い。「あの会社、データ飛ばしたらしいよ」——地方の中小企業にとって、口コミでの信用毀損は致命的。数字にしにくいが、年間売上の数%が消えてもおかしくない

仮に年商1億円の中小企業で同じことが起きたら、直接損害だけで500万〜1,000万円規模。信用毀損を含めれば、それ以上になる。

9秒の操作に対して、この金額だ。

—

Stripeが「AIの財布」を作った理由

一方で、決済大手Stripeが面白い動きを見せている。「Link」というデジタルウォレットを、AIエージェント向けに拡張したのだ。

これは何かというと、AIエージェントに「財布」を持たせる仕組みだ。

具体的にはこうなる。

• AIエージェントが何かを購入・契約する際、事前に設定された上限額の範囲内でのみ決済できる
• カード情報や銀行口座をユーザーが紐づけ、AIには「この範囲で使っていいよ」と渡す
• 上限を超える支出は人間の承認が必要

要するに、子どもにお小遣いを渡すのと同じ構造だ。全財産を渡すのではなく、使っていい範囲を決めて渡す。

これがなぜ重要か。AIエージェントが自律的にSaaS契約やクラウドリソースの購入をする時代がすぐそこまで来ている。そのとき「月額100万円のプランを勝手に契約してしまった」を防ぐ仕組みが必要になる。

Stripeはそこに先手を打った。「AIに権限を渡す」と「AIを野放しにする」の間に、明確な線を引くインフラを作ったわけだ。

中小企業にとっての示唆はシンプルだ。AIに業務を任せるなら、「何をどこまでやっていいか」を金額・操作範囲・対象データの3軸で事前に決めておくこと。Stripeの仕組みはその一つの実装例にすぎない。

—

AIの行動を監視する「ファイアウォール」が登場

もう一つ注目すべき動きがある。AIエージェント専用の「行動ファイアウォール」の研究が進んでいることだ。

ネットワークのファイアウォールが「許可されていない通信を遮断する」ように、行動ファイアウォールは「許可されていないAIの操作を遮断する」。

仕組みはこうだ。

1. AIエージェントが実行しようとする操作を、実行前にリアルタイムで検知
2. 事前に定義された「許可リスト」と照合
3. リスト外の操作（例：データベースの削除、管理者権限の変更）はブロックし、人間に通知

PocketOSの事故に当てはめると、「DELETE FROM」のようなデータ全消去コマンドが実行される前に止められたはずだ。

導入コストと損害コストの比較

ここが肝心なところだ。

保険と同じだ。 月数万円のコストで、数百万〜数千万円の損害を防げる。この比率を見れば、導入しない理由がない。

—

本当に考えるべきは「権限を渡さないコスト」

ここまで「AIに権限を渡すリスク」の話をしてきた。しかし、もう一つの視点が抜けている。

「AIに権限を渡さない」コストだ。

地方の中小企業で、こんな場面は日常だろう。

• 社長が毎月3日かけて手作業で請求書を処理している
• 事務員が1日2時間、受発注データの転記をしている
• 営業が週5時間、見積書のフォーマット調整に費やしている

これらをAIエージェントに任せれば、月に数十時間が浮く。時給換算で月20〜50万円分の人件費だ。年間にすれば240万〜600万円。

「怖いからAIには何も任せない」という判断は、毎年数百万円を捨てているのと同じということになる。

つまり問いはこうだ。

> 「AIに権限を渡すリスク」と「AIに権限を渡さないコスト」——あなたの会社ではどちらが大きいか？

答えは「どちらか一方」ではない。適切なガードレールを設けた上で、段階的に権限を渡すのが正解だ。

—

中小企業が今日からやるべき3つのこと

抽象論は要らない。具体的に何をすればいいか。

1. 権限の「最小単位」を決める

AIに渡す権限は、必要最小限にする。これは情報セキュリティの基本原則「最小権限の原則」と同じだ。

• データベースに対しては「読み取りのみ」からスタート。書き込み・削除は人間の承認を必須にする
• 決済に関しては、1回あたり・月あたりの上限額を設定する
• ファイル操作は対象フォルダを限定する

全権委任は絶対にしない。

2. 「取り返しのつく失敗」と「取り返しのつかない失敗」を分ける

AIに任せる業務を、この2つに分類する。

• 取り返しがつく：メール下書き作成、議事録要約、データ分析レポート作成 → どんどん任せる
• 取り返しがつかない：本番データの削除、顧客への送金、契約書の送付 → 必ず人間が最終確認

この仕分けをするだけで、リスクは劇的に下がる。

3. 月1万円の「保険」をかける

バックアップの自動化、操作ログの記録、異常検知の通知。これらは今やクラウドサービスで月数千円〜1万円程度で導入できる。

AWSのバックアップ機能、Google Workspaceの監査ログ、Slackへの異常通知連携——特別なシステム開発は不要だ。既存のツールの設定を変えるだけでいい。

月1万円の保険で、数百万円の事故を防げる。この投資対効果を無視する経営者はいないはずだ。

—

まとめ——AIに権限を渡す時代の「経営判断」

PocketOSの9秒間のデータ全消去。Stripeの「AIの財布」。行動ファイアウォールの登場。

この3つのニュースが同時期に出てきたことは偶然ではない。AIエージェントが「考えるだけ」から「行動する」フェーズに入ったということだ。

行動するAIには、権限が必要になる。権限を渡せば、リスクが生まれる。リスクを恐れて権限を渡さなければ、競合に置いていかれる。

この構造は、大企業も中小企業も同じだ。むしろ中小企業のほうが有利な面がある。意思決定が速い。「来週から試しにやってみよう」ができる。 大企業が半年かけて稟議を通している間に、中小企業は実験して学んで修正できる。

まずは一つ、取り返しのつく業務からAIに任せてみる。ガードレールを設けて、小さく始める。

「AIに権限を渡すかどうか」はもう問いではない。「どう渡すか」が問いだ。

その判断を先送りにするコストは、毎日積み上がっている。