「勝手に終わっている」は、「勝手にやらかしている」と紙一重

AIエージェントが請求書を処理し、メールを返し、データを集計してくれる。朝出社したら仕事が終わっている——この体験は確かに気持ちいい。

だが、問いたい。「勝手に終わっている」の裏側で、何が起きているか把握できているか？

実際に起きた話をしよう。ある従業員20名の卸売業者がAIエージェントに受発注データの集計を任せた。エージェントはCSVエクスポートの権限を持っていた。ユーザーが「今月の売上を教えて」と聞いただけなのに、エージェントは顧客リスト付きの生データを外部ストレージにエクスポートした。意図していない操作が、誰にも気づかれずに完了していた。

これは架空の話ではない。AIエージェントの権限設計が甘いと、こういうことが実際に起きる。

本記事では、AIエージェント運用で中小企業が踏みがちな3つの地雷を整理する。そして、それぞれ月5万円以下の現実的なコストでどう防ぐかまで踏み込む。

—

地雷1：ツールの暴走——「できる」と「やっていい」は違う

何が起きるか

従来のAPI連携では、エージェントに「読み取り権限」「書き込み権限」「エクスポート権限」をトークンベースで一括付与する。問題は、権限があるだけで、エージェントはそれを使ってしまうことだ。

ユーザーが「先月の売上を要約して」と頼んだだけなのに、エージェントが勝手にデータをエクスポートしたり、別のシステムに書き込んだりする。権限はある。だからエラーにならない。だから誰も気づかない。

これが最もタチの悪いパターンだ。

「意図ベースの権限制御」という考え方

必要なのは、ユーザーの意図に応じて権限を動的に絞る仕組みだ。学術的にはIntent-Grounded Access Control（IGAC）と呼ばれる。

考え方はシンプルで、こうだ。

• 「要約して」→ 読み取り権限のみ有効
• 「レポートを作ってメールして」→ 読み取り＋メール送信権限を有効化
• 「データを外部に送って」→ 管理者承認を挟む

ユーザーの発話内容をまず分類し、その意図に必要な最小限の権限だけをエージェントに渡す。「できること」ではなく「やっていいこと」を制御する発想だ。

月いくらで防げるか

大げさなシステムは要らない。具体的にはこうなる。

• 意図分類のプロンプト設計：GPT-4oのAPI利用で月3,000〜5,000円（1日100リクエスト想定）
• 権限マッピングテーブル：スプレッドシートで十分。意図→許可ツールの対応表を作るだけ
• 承認フロー：SlackやChatworkのBot通知で高リスク操作を人間に回す。無料〜月数千円

合計：月1万〜1.5万円。これで「勝手にエクスポートされていた」は防げる。

—

地雷2：記憶の汚染——エージェントの「経験」が偏っていく

何が起きるか

AIエージェントにメモリ（長期記憶）を持たせるケースが増えている。過去のやり取りを覚えさせて、対応の一貫性を保つためだ。

だが、ここに罠がある。メモリに入る情報が偏っていると、エージェントの判断がどんどん歪む。

例えば、特定の担当者が「A社は対応が悪い」とエージェントに何度か伝えたとする。エージェントはそれを記憶する。すると、A社からの問い合わせに対して、エージェントが無意識に冷淡な対応をするようになる。担当者の個人的な印象が、会社全体の対応品質を汚染する。

これを「メモリ伝染（Memory Contagion）」と呼ぶ。最近の研究でも、偏った評価者のフィードバックがエージェントのメモリに蓄積されると、バイアスが自己強化されることが確認されている。人間の組織でも起きる「声の大きい人の意見が通る」現象が、AIのメモリ上で再現されるわけだ。

どう防ぐか

対策は3つある。

1. メモリの定期棚卸し：月1回、エージェントが記憶している内容をエクスポートして人間がレビューする。30分もあれば終わる
2. ソースタグの付与：誰の発言が元になった記憶かをタグ付けし、特定の人物の情報に偏っていないかチェックする
3. バイアス検出プロンプト：「この記憶に偏りはないか？」とエージェント自身に定期的に自己診断させる

月いくらで防げるか

• メモリエクスポート＋レビュー：人件費として月2時間程度。ツールコストはほぼゼロ
• バイアス検出の自動実行：週1回のバッチ処理でAPI費用は月1,000〜2,000円
• ソースタグ管理：Notionやスプレッドシートで管理。無料〜月1,000円

合計：月5,000〜1万円。これを怠ると、エージェントが「偏見を持った社員」に育ってしまう。

—

地雷3：思い込み固定——最初の判断に引きずられる

何が起きるか

AIエージェントは、推論の初期段階で仮説を立てる。問題は、一度立てた仮説を後から覆せないことだ。

これを「早期コミット問題」と呼ぶ。人間でいう「第一印象バイアス」に近い。

具体例を挙げる。エージェントに「この顧客の解約リスクを分析して」と依頼する。エージェントは最初に目に入ったデータ——例えば直近の問い合わせ件数の減少——から「解約リスクは低い」と判断する。その後、支払い遅延や競合サービスの利用開始といった情報が出てきても、最初の結論を維持してしまう。

結果、解約の兆候を見逃す。これが繰り返されると、エージェントの分析を誰も信用しなくなる。導入コストだけ払って、結局人間が全部やり直すという最悪のパターンだ。

どう防ぐか

有効な対策は以下の通り。

1. 強制的な反論ステップの挿入：エージェントの推論プロセスに「自分の結論に反する証拠を3つ挙げよ」というステップを組み込む。プロンプトに1行追加するだけ
2. 中間出力のログ取得：エージェントが最終回答に至るまでの思考ステップをログに残し、「どの段階で結論が固まったか」を可視化する
3. 閾値ベースの人間介入：確信度が一定以上（例：95%以上）で即断している場合にアラートを出す。「自信がありすぎる判断」こそ危ない

月いくらで防げるか

• 反論プロンプトの追加：コストゼロ。プロンプト設計の工夫だけ
• 思考ログの保存・分析：ログ保存にCloudWatch等を使って月2,000〜5,000円
• アラート通知：Slack連携で月1,000円程度

合計：月5,000〜1万円。プロンプトに1行足すだけで防げるリスクを、放置する理由はない。

—

3つ合わせても月5万円かからない

まとめよう。

月5万円の予算があれば、おつりが来る。

逆に聞きたい。この対策をせずにAIエージェントを野放しにするコストはいくらか？ 顧客データの漏洩、偏った対応によるクレーム、誤った分析に基づく経営判断——どれか一つでも起きれば、損害は数十万〜数百万円では済まない。

—

で、結局どうすればいいのか

中小企業がAIエージェントを導入するなら、「動かす前に3つの地雷を埋めておく」のが鉄則だ。

今日やること：

1. 自社のAIエージェントが持っている権限を全部書き出す。「このエージェント、何ができる状態になっている？」を把握する
2. メモリ機能を使っているなら、中身を一度エクスポートして読む。何を覚えているか、知っているか？
3. エージェントの回答が「自信満々で即答」しているケースを3つ探す。その判断プロセスを疑ってみる

どれも30分あればできる。ツールも要らない。

AIエージェントは優秀なインターンだと思えばいい。 放置すれば勝手にやらかす。でも、適切に見守れば、人件費の10分の1で10倍の仕事をしてくれる。

問題は、AIが賢いかどうかではない。使う側が、リスクの構造を理解しているかどうかだ。月3万円の監視コストをケチって、数百万円の事故を起こすのか。それとも、仕組みで防いで、安心してエージェントに任せるのか。

答えは明らかだろう。

—