まず結論から言う

AIエージェントは便利だ。だが「暴走したとき、止めるコスト」を計算している中小企業はほぼゼロだ。

Nvidiaが大企業向けのセキュリティ基盤を発表した。MITは「AIが暴走したら誰の責任か」という論文を出した。コーディングエージェントの無駄遣い研究では、タスクコストの最大22.75%が非効率に消えていることが判明した。

どれも重要な話だ。だが、地方の従業員30人の会社にとっては「で、うちはどうすればいいの？」が全てだ。この記事では、今起きていることを整理した上で、月5万円以下で組める現実的な防御策まで踏み込む。

—

AIエージェントの暴走は「もしも」ではなく「もう起きている」

2025年に入って、AIエージェントが意図しない挙動を起こすインシデントが急増している。セキュリティ研究者の報告によれば、AIエージェントがプロンプトインジェクション（指示の書き換え攻撃）によって制御を失い、外部システムへ不正アクセスするケースが確認されている。

ここで重要なのは、攻撃者がAIを「使う」だけでなく、企業が導入したAIエージェント自体が「乗っ取られる」リスクがあるという点だ。

自社のAIエージェントが、顧客データを外部に送信する。取引先のシステムに勝手にログインする。——これが起きたとき、被害額はいくらか。

中小企業の情報漏洩事故の平均被害額は、JNSA（日本ネットワークセキュリティ協会）の調査で1件あたり数千万円規模と報告されている。売上5億円の会社にとって、これは致命傷だ。

—

Nvidiaが出した答え——ただし大企業向け

Nvidiaは2025年5月、AIエージェント向けのセキュリティプラットフォームを発表した。AIエージェントの行動をリアルタイムで監視し、異常な挙動を検知・遮断する仕組みだ。

コンセプトは正しい。AIエージェントが「何をしているか」を常時モニタリングし、想定外の動きをした瞬間に止める。これは人間の管理者が24時間張り付くのと同じことを、ソフトウェアでやるということだ。

だが、問題はコストだ。Nvidiaのエンタープライズ向けソリューションは、GPU基盤の利用料を含めると月額数十万〜数百万円規模になる。1500億ドルの自社株買いを発表するNvidiaにとっては小さな数字かもしれないが、中小企業の月次IT予算が10万〜30万円という現実からすれば、別世界の話だ。

大企業向けの正解が、中小企業の正解とは限らない。ここが分岐点になる。

—

「誰の責任か」——MITが突きつけた問い

MITの研究者らが発表した論文では、AIエージェントが自律的に行動した結果として損害が発生した場合の責任の所在を分析している。

論点はシンプルだ。

• AIの開発元が悪いのか？（OpenAI、Anthropicなど）
• AIを導入した企業が悪いのか？
• AIに指示を出した従業員個人が悪いのか？

現時点の法的枠組みでは、多くの場合「導入した企業」が責任を負う可能性が高い。つまり、中小企業がAIエージェントを使って業務を自動化した場合、そのエージェントが起こした事故の責任は自社に返ってくる。

これは「AIを使わないほうが安全」という話ではない。「使うなら、止める仕組みとセットで導入しないと危険」という話だ。

保険の観点も重要になる。サイバー保険の市場は急拡大しており、中小企業向けのプランも年額10万〜30万円程度で登場し始めている。ただし、AIエージェント起因の事故を明確にカバーする保険商品はまだ少ない。ここは今後半年で大きく動く領域だ。

—

コーディングエージェントの「見えないコスト」——最大22.75%が無駄

暴走リスクとは別に、もう一つ見逃せないデータがある。

最近の研究で、コーディングエージェント（Devin、OpenHands、SWE-agentなど）がタスクを実行する際に、3つの非効率行動パターンが確認された。

1. 同じファイルを何度も読み直す——キャッシュすれば済む情報を毎回取得する
2. 不要なツール呼び出し——結果を使わないのにAPIを叩く
3. 試行錯誤の無限ループ——エラーを修正できず同じ操作を繰り返す

これらの非効率行動は、分析対象タスクの79%〜98%で発生しており、タスクあたりのコストの最大22.75%を占めていた。

月10万円分のAPI利用料を使っているなら、最大2万2,750円が「ゴミ」に消えている計算だ。年間で約27万円。中小企業にとって、これは無視できない数字だ。

対策はある。タスクのステップ数に上限を設ける、同一ファイルの再読み込みを制限する、一定回数エラーが続いたら強制停止する——いずれもコードレベルで実装可能な制御だ。高額なプラットフォームは要らない。

—

月5万円以下で組む「止める仕組み」——現実的な3層防御

では、中小企業が今日から始められる防御策を具体的に組み立てる。目標は月額5万円以下。

第1層：AIエージェントの行動制限（月額0円〜5,000円）

まずやるべきは、AIエージェントに「できること」の上限を設定することだ。

• APIコールの上限設定：1タスクあたりのAPI呼び出し回数を制限する。ほとんどのAPIサービスで無料で設定可能
• アクセス権限の最小化：AIエージェントがアクセスできるシステム・データを必要最小限に絞る。管理者権限は絶対に渡さない
• タイムアウトの設定：一定時間内にタスクが完了しなければ強制停止する

これだけで、暴走の被害範囲を大幅に限定できる。コストはほぼゼロだ。

第2層：監視と検知（月額1万〜2万円）

• オープンソースの監視ツール導入：LangSmith（無料枠あり）やLangfuseなどのLLM監視ツールで、エージェントの全行動をログに記録する。異常なパターン（同じ操作の反復、想定外の外部通信など）をアラートで通知
• Cloudflareなどのネットワーク監視：無料〜月額数千円で外部への不正通信を検知・遮断できる
• 週次のログレビュー：30分で済む。AIエージェントが何をしたかを人間が確認する習慣をつける

第3層：保険と契約（月額1万〜2万5,000円）

• サイバー保険の加入：年額12万〜30万円（月額1万〜2.5万円）で、情報漏洩やシステム障害時の損害賠償をカバー。AIエージェント起因の事故がカバー対象に含まれるか、契約前に必ず確認する
• 利用規約・免責条項の整備：AIエージェントが関与する業務について、顧客との契約にAI利用の明記と免責範囲を追加する。行政書士に依頼しても5万〜10万円程度（初回のみ）

合計コスト

初期費用として、契約書整備に5万〜10万円。これで「止める仕組み」の骨格は組める。

—

本当のリスクは「暴走」ではなく「何も準備していないこと」

AIエージェントの暴走確率自体は、現時点ではそこまで高くない。だが、問題が起きたときに「止める仕組み」がゼロの状態と、月3万円でも備えがある状態では、被害額が桁違いに変わる。

情報漏洩1件で数千万円の損害が出る世界で、月3万円の保険と監視は「コスト」ではなく「投資」だ。

そして、この防御策を組む過程で得られる副産物がある。AIエージェントの行動ログを取り始めると、前述の「コスト非効率」も可視化される。無駄なAPI呼び出しを削るだけで、月数万円のコスト削減につながる可能性がある。守りの投資が、攻めのコスト削減にもなる。

—

中小企業がやるべき3つのアクション

1. 今日やる：使っているAIエージェントのAPI上限とアクセス権限を確認し、最小限に絞る（所要時間30分、コスト0円）
2. 今週やる：LangfuseかLangSmithの無料枠でエージェントの行動ログを取り始める（所要時間2〜3時間）
3. 今月やる：サイバー保険の見積もりを2〜3社から取る。AIエージェント起因の事故がカバーされるか確認する

大企業と同じ土俵で戦う必要はない。Nvidiaの数百万円のプラットフォームがなくても、月5万円以下で「最低限止められる仕組み」は組める。

重要なのは、完璧な防御ではなく「止められる状態にあること」だ。AIエージェントを使うなら、止め方もセットで持つ。それが、2025年の中小企業の最低限のリテラシーになる。

—