月5万円のAIが、ある朝200万円の請求書を届けてきたら？

これは仮定の話じゃない。

2025年初頭、OpenAIのAIエージェントがオンラインデータベースに対して大量のリクエストを送り続け、事実上のDDoS攻撃状態を引き起こした事件が報じられた。AIは指示を「忠実に」実行しただけだ。だが、その「忠実さ」がサーバーを落とし、相手先に被害を与えた。

ここで考えてほしい。もしこれが、あなたの会社のAIエージェントだったら？

請求書は誰に届くのか。答えはシンプルだ。あなたの会社に届く。AIに法人格はない。契約主体はあなただ。

中小企業にとってAIエージェントは「人件費月40万円の業務を月5万円で回せる」革命的なツールだ。だからこそ導入が加速している。しかし、コストが劇的に下がった先には、別のリスクが立ち上がる。安くなったからこそ気軽に動かせる。気軽に動かせるからこそ、暴走したとき誰も見ていない。

本記事では、AIエージェントの暴走で実際にどれだけのコストが発生しうるのかを具体的に試算し、中小企業が「今日からできる」防衛策を示す。

—

暴走で発生する3つのコスト——具体的にいくらか

1. クラウド課金の爆発：月5万→月200万は普通に起きる

AIエージェントをクラウド上で動かしている場合、暴走＝無限ループや過剰リクエストは、そのまま従量課金に直結する。

実例を想定しよう。GPT-4oクラスのAPIを使ったエージェントが、本来1日100回のAPI呼び出しで済む業務を、ループバグで1日10万回呼び出したとする。

• 通常：100回/日 × 30日 = 3,000回/月 → 約5万円
• 暴走：100,000回/日 × 5日（気づくまで） = 500,000回 → 約170万〜200万円

週末に暴走が始まったら？月曜朝に出社して気づいたときには、すでに5日分の請求が積み上がっている。クラウドベンダーは「使った分は払ってください」としか言わない。これが従量課金の怖さだ。

AWS、Azure、GCPいずれも、上限設定をしなければ青天井で課金される。「上限を設定していなかった」は、鍵をかけずに家を出たのと同じだ。

2. 損害賠償：相手がいれば訴訟リスクは現実になる

OpenAIの事件のように、AIエージェントが外部サービスに過剰アクセスした場合、相手先のサーバーダウンやサービス停止を引き起こす可能性がある。

中小企業の場合、よくあるシナリオはこうだ：

• 取引先のAPIに自動連携していたエージェントが、エラー処理のバグで同じリクエストを数万回送信
• 取引先のシステムが過負荷でダウン
• 取引先の業務が半日停止、その間の売上損失と復旧費用を請求される

相手が中規模のEC事業者なら、半日のシステム停止による売上損失は数百万円規模になりうる。復旧の技術者費用を含めれば、損害賠償請求額は500万〜2,000万円のレンジに入ってくる。

中小企業にとって、突然2,000万円の賠償請求が来たらどうなるか。事業継続の危機だ。

しかも厄介なのは、「AIがやったこと」は法的には「あなたの会社がやったこと」と同義である点だ。現行法では、AIエージェントの行為責任は運用者に帰属する。「AIが勝手にやりました」は抗弁にならない。

3. 信用毀損：数字に出ないが、最も高くつく

AIエージェントが顧客データを意図しない形で外部送信した、あるいは取引先のシステムを落とした——こうした事故が取引先や業界内に知れ渡ったとき、失うのは金銭だけではない。

中小企業の最大の資産は「信用」だ。地方の取引先ネットワークは狭い。一度「あそこのAIがうちのシステムを落とした」という話が広まれば、新規取引のハードルが一気に上がる。

信用毀損のコストを定量化するのは難しいが、仮に年間売上の10%の取引が失われるとすれば、年商1億円の企業で年間1,000万円の機会損失になる。しかもこれは1年で終わらない。回復には2〜3年かかる。

—

合算するとどうなるか

月5万円のコスト削減のために導入したAIが、1回の暴走で数千万円の損失を生む。これがAIエージェント時代のリスクリターン構造だ。

—

で、結局どうすればいいのか——今日からできる5つの防衛策

高額なセキュリティツールを導入する前に、まず「鍵をかける」レベルのことをやろう。中小企業が今日からできる対策を5つ挙げる。

1. クラウドの課金上限を「今すぐ」設定する

AWS、Azure、GCPいずれも、予算アラートと課金上限の設定機能がある。OpenAI APIにもUsage Limitsがある。

設定にかかる時間：15分。これをやるだけで、青天井リスクがゼロになる。

具体的には、月額の想定コストの3倍を上限に設定する。月5万円なら15万円で止まるようにする。暴走しても最大15万円で済む。15分の作業で185万円の損失を防げるなら、やらない理由がない。

2. エージェントの「行動範囲」を最小限に絞る

AIエージェントに与える権限は「必要最小限」が鉄則だ。

• アクセスできるデータベースを限定する
• 外部APIへのリクエスト回数に上限を設ける
• ファイルの書き込み・削除権限は原則与えない
• 本番環境への直接アクセスは禁止し、サンドボックス経由にする

これは「AIを信用するな」という話ではない。「人間の新入社員にも、初日からすべてのシステム管理者権限は渡さないだろう？」という話だ。AIも同じだ。

3. 「1回あたりの実行コスト」を監視する

暴走の兆候は、コストの異常値に最初に現れる。

1回のタスク実行にかかるAPI呼び出し回数とコストを記録し、平常値の3倍を超えたらアラートを出す仕組みを作る。これはスプレッドシートとAPI利用ログだけでもできる。高価な監視ツールは不要だ。

例：通常1タスクあたり10回のAPI呼び出し（コスト約17円）→ 30回を超えたらSlack通知。これだけで暴走の初期段階で気づける。

4. 「人間の承認」をプロセスに挟む

AIエージェントの最大の価値は「自動で動くこと」だが、最大のリスクも「自動で動くこと」だ。

解決策はシンプル。金額や影響度が一定以上のアクションには、人間の承認を挟む。

• 1万円以上の発注 → 人間が承認
• 外部への一括メール送信 → 人間が承認
• データベースの一括更新 → 人間が承認

全自動にこだわる必要はない。「95%自動、5%は人間が確認」で、リスクは劇的に下がる。

5. 週次で「AIが何をしたか」をレビューする

AIエージェントの行動ログを、週に1回15分でいいからレビューする。

「先週AIは何回動いて、何にいくら使って、どんなエラーを出したか」——これを把握しているだけで、暴走の予兆に気づける。把握していなければ、月末の請求書で初めて知ることになる。

—

中小企業だからこそ、ここで差がつく

大企業はセキュリティチームがいる。専任のクラウドアーキテクトがいる。AIガバナンス委員会がある。

中小企業にはない。だからこそ、「仕組みで守る」しかない。

逆に言えば、中小企業は意思決定が速い。「今日、課金上限を設定しよう」と決めたら、今日できる。大企業なら稟議に2週間かかる。

AIエージェントのコスト暴走対策は、技術の問題ではない。「設定するかしないか」の問題だ。 15分の設定作業をやるかやらないかで、数千万円のリスクが消えるか残るかが決まる。

AIを「使う側」でいるために、手綱は離すな。まず今日、クラウドの課金上限を確認するところから始めよう。

—