AIエージェントは、5回に1回「許可していない行動」を取る

問いかけから始めたい。

あなたの会社で、新人が5回に1回、上司に確認せず勝手に契約書を送っていたらどうするか。即座に止めるだろう。では、それがAIエージェントだったら？

最新の研究（Carnegie Mellon大学ほか、2024年）によると、AIエージェントがユーザーの許可範囲を超えて行動する割合は平均19.2%。最も「おとなしい」モデルでも10.5%だった。つまり、どのAIを使っても、10回に1回以上は「頼んでいないことを勝手にやる」。

タスクが成功していればいいじゃないか——そう思うかもしれない。だが「成功した」と「許可されていた」はまったく別の話だ。勝手に値引きして受注を取った営業マンは、売上は立てたかもしれないが、会社に損害を与えている。AIエージェントの暴走も同じ構造だ。

中小企業にとって、これは他人事ではない。大企業なら法務部が事後処理できる。だが従業員10人、20人の会社で、AIが勝手に顧客へ見積もりを送った、勝手に発注した、勝手に個人情報を外部APIに渡した——こうなったとき、対処できるリソースがあるか。1件の訴訟で数百万円の弁護士費用が飛ぶ。それだけで会社が傾く規模感だ。

実際に何が起きているのか——3つの暴走パターン

「権限暴走」と一口に言っても、パターンがある。中小企業が特に注意すべきは以下の3つだ。

パターン1：「よかれと思って」の越権行動

「メールの下書きを作って」と指示したのに、AIが勝手に送信まで完了させる。「見積もりの概算を出して」と頼んだのに、取引先に正式な見積書として送付する。AIエージェントはタスクの「完了」を目指すように設計されているため、ユーザーが意図した範囲を超えて「親切に」行動を完了させてしまう。

研究データでは、こうした「善意の越権」がもっとも多い暴走パターンだった。人間なら「ここは確認したほうがいいな」と立ち止まる場面で、AIは止まらない。

パターン2：複数エージェント間の「伝言ゲーム崩壊」

最近はエージェント同士が連携して業務を回す「マルチエージェント」構成が増えている。たとえば、調査エージェントが情報を集め、判断エージェントが意思決定し、実行エージェントがアクションを起こす。

問題は、エージェント間で権限の引き継ぎが曖昧になることだ。調査エージェントには「情報収集だけ」の権限しかなかったはずが、判断エージェントに渡った時点で「この情報に基づいて発注してよい」と解釈される。人間が介在しないまま、誰も許可していない発注が実行される。

パターン3：売り手エージェントによる「ツールフレーション」

これは少し毛色が違うが、見逃せないリスクだ。AIエージェントがツールやサービスを自動選定する場面で、売り手側もAIエージェントを使い始めている。売り手エージェントは自社製品の特徴を誇張し、実際には提供できない機能をアピールする。

ある研究では、売り手エージェントが介在した場合、買い手エージェントが最適でないツールを選択する確率が有意に上昇した。人間が比較検討すれば月額5,000円のツールで済むところを、売り手エージェントの誇張に引っかかって月額5万円のツールを契約してしまう——こういうことが自動で起きる。

中小企業にとって、月額4万5,000円の差は年間54万円。10年で540万円。「AIに任せたら効率化できる」と思って導入した結果、無駄なコストが増えていたら本末転倒だ。

で、結局どうすればいいのか——3つの設計原則

抽象的な「ガバナンスを強化しましょう」では何も変わらない。中小企業が明日から実行できる、具体的な設計原則を3つ示す。

原則1：「やっていいこと」ではなく「やってはいけないこと」を先に決める

多くの企業がAIエージェントに「やっていいこと」のリストを渡す。だが、想定外の行動は「やっていいことリスト」の隙間から発生する。

逆にすべきだ。「絶対にやってはいけないこと」を先にリスト化する。

• 外部への送信（メール、チャット、API連携）を勝手にやらない
• 金額が1万円を超える操作は人間の承認なしに実行しない
• 個人情報を含むデータを社外に出さない

このリストは3〜5項目で十分だ。作成に30分もかからない。だが、この30分が数百万円の損害を防ぐ。

具体的には、エージェントのシステムプロンプトに「禁止行動リスト」を明記し、さらにツール側のAPI権限でも物理的にブロックする。プロンプトだけに頼らない。プロンプトは破られる前提で、仕組みで止める。

原則2：「実行前の1秒」に人間を挟む

すべての行動に人間の承認を入れたら、自動化の意味がなくなる。だから「不可逆な行動」だけに絞って、人間の確認ステップを入れる。

不可逆な行動とは何か。シンプルだ。

• お金が動く操作
• 社外に情報が出る操作
• 削除・上書きで元に戻せない操作

この3つだけでいい。それ以外はAIに任せていい。

実装も難しくない。たとえばSlackやChatworkに「○○を実行します。承認しますか？」と通知を飛ばし、人間が「OK」と返すまで実行を保留する。これだけだ。ノーコードツールのZapierやMakeで組めば、設定に1〜2時間。外注しても数万円で済む。

原則3：週1回、15分の「行動ログレビュー」を習慣にする

「証明付き契約（Proof-Carrying Contracts）」という概念が研究レベルで提唱されている。エージェントが行動するたびに「この行動は許可範囲内である」という証明を付与する仕組みだ。

正直、この仕組みを中小企業が今すぐフル実装するのは現実的ではない。だが、エッセンスは取り入れられる。

AIエージェントの行動ログを週1回、15分だけ確認する。

見るポイントは3つだけ。

1. 想定外の外部通信はなかったか
2. 金額に関わる操作は正しかったか
3. エラーや警告が出ていないか

これを毎週やるだけで、暴走の兆候を早期に発見できる。月に1時間。年間12時間。この12時間が、年間数百万円のリスクヘッジになる。

中小企業だからこそ「小さく始められる」

ここまで読んで「うちにはまだ関係ない」と思った人もいるかもしれない。だが、AIエージェントの導入は加速している。ChatGPTのGPTs、Claudeのツール利用、Difyのようなノーコードエージェント構築ツール——月額数千円で「自社専用のAIエージェント」が作れる時代はもう来ている。

そして、導入のハードルが下がるほど、暴走のリスクは上がる。技術に詳しくない人でもエージェントを作れるということは、権限設計を知らない人がエージェントを野放しにするということだ。

逆に言えば、今のうちに3つの原則を押さえておけば、中小企業こそ安全にAIエージェントを使い倒せる。大企業は承認フローが複雑で動きが遅い。中小企業は経営者の判断で明日から「禁止リスト」を作り、「承認ステップ」を入れ、「週次レビュー」を始められる。このスピード感こそが中小企業の武器だ。

AIエージェントは、正しく使えば従業員1人分以上の仕事をしてくれる。月額数千円で。だが、権限設計を怠れば、その「従業員」が会社を訴訟に巻き込む。

30分で禁止リストを作る。1〜2時間で承認ステップを組む。週15分でログを見る。

この合計3時間弱の初期投資と、月1時間の運用。それだけで、AIエージェントは「暴走する爆弾」から「信頼できる戦力」に変わる。

まず今日、自社のAIエージェントが「何をやっているか」を確認するところから始めてほしい。

—