「勝手に終わっている」が、勝手に壊れる日

AIエージェントに業務を任せて、気づいたら終わっている。請求書の処理、メールの返信、在庫の発注——これが2025年の「当たり前」になりつつある。

だが、ここで一つ問いたい。

その「勝手に終わっている」の中身を、あなたは説明できるか？

Google DeepMindが2025年5月に発表した研究報告は、AIエージェント同士が人間の監視なしに協力・競合し合うことで、予測不能なリスクが生まれると警告した。同時期にAnthropicは自社AIモデルに「隠れたガードレール」を仕込んでいたことを謝罪し、xAIでは安全性に懸念を示したエンジニアが解雇された。

この3つのニュース、バラバラに見えるが、構造は一つだ。

「AIの中で何が起きているか、誰もちゃんと見ていない」。

大企業ですらこの状態だ。中小企業が無防備に飛び込んだらどうなるか。今日はその「見えない地雷」を、具体的に整理する。

—

1. AIエージェント同士の「暴走連鎖」——DeepMindが1,000万ドルかけて研究する理由

まず、Google DeepMindの警告から。

彼らが問題にしているのは、AIエージェント1体の暴走ではない。複数のAIエージェントが相互にやり取りした結果、誰も意図しない行動が生まれるという話だ。

具体例を考えてみよう。あなたの会社で、受注AIエージェントが発注AIエージェントに指示を出し、発注AIが物流AIに連携する。この3つが自律的に動いている場合、1つのエージェントが誤った判断をしたとき、残り2つがその誤りを「正しい指示」として処理してしまう。人間がチェックする前に、誤発注が完了し、配送が始まっている。

これが社内の話ならまだいい。問題は、外部のAIエージェントとつながったときだ。

DeepMindの報告では、数百万のAIエージェントがオンラインで同時に稼働する近い将来、サイバー攻撃の「自動化・協調化」が現実になると指摘している。攻撃者がAIエージェントを使い、防御側のAIエージェントの挙動パターンを学習して突破する。従来のセキュリティソフトでは対応できない、エージェント対エージェントの攻防だ。

DeepMindはこの問題に約1,000万ドル（約15億円）を投じて研究を開始した。逆に言えば、15億円かけないと解決の糸口すら見えないレベルの問題だということだ。

中小企業にとっての教訓はシンプルだ。

AIエージェントを複数連携させるなら、「人間が確認するポイント」を必ず挟め。

全自動にしたい気持ちはわかる。だが、今の段階では「95%自動、5%人間チェック」が正解だ。その5%が、致命的な暴走を止める最後の砦になる。

—

2. 「隠れたガードレール」問題——あなたのAI、実は機能制限されていないか？

Anthropicが謝罪した件は、中小企業にとってもっと身近な問題だ。

同社のAIモデルに、ユーザーに知らされていない制限が仕込まれていた。具体的には、研究者や開発者が特定の用途でモデルを使おうとすると、裏側で制限が発動し、期待した出力が得られない仕組みになっていた。Anthropicはこれを「意図的ではなかった」としつつも、透明性に欠けていたと認め、ガードレールの発動条件を明確にする方針を示した。

これ、中小企業の現場で何が起きるかを考えてほしい。

例えば、あなたが月額2万円のAIツールを導入して、顧客対応を自動化したとする。ところが、ある種の問い合わせに対してAIが回答を拒否する。クレーム対応、法的なグレーゾーンの質問、競合比較——こうしたテーマで「お答えできません」が返ってくる。

顧客は待っている。AIは黙っている。あなたはその理由がわからない。

ツールの仕様書に書いていない制限が、あなたの業務を止めている。

これは「バグ」ではない。AIプロバイダーが自社のリスク回避のために設定した制限だ。大企業なら専門チームが原因を調査できる。だが、中小企業にそのリソースはない。

対策は2つ。

①導入前に「できないこと」を具体的に確認する。営業トークの「何でもできます」を信じてはいけない。「この業務でこの入力をしたとき、出力が制限されるケースはあるか」と具体的に聞く。

②代替手段を常に用意しておく。AIが止まったとき、人間が30分以内に引き継げるフローを作っておく。これがないと、AIの沈黙がそのまま業務停止になる。

—

3. 「安全性を言ったら解雇」——xAI事件が示す、ベンダー選びの本質

xAIでは、AIチャットボット「Grok」の安全性に懸念を示したエンジニアが解雇された。このエンジニアは、ガードレールの導入を提案していたが、会社の方針——つまり「制限の少ないAI」を売りにする戦略と衝突した。

この事件、中小企業の経営者は「大企業の内部問題だろう」と思うかもしれない。

違う。これはベンダー選びの問題だ。

あなたが選ぶAIツールの裏側で、安全性を訴えるエンジニアが黙らされているとしたら。そのツールが吐き出す回答の品質を、誰が担保しているのか。

中小企業がAIベンダーを選ぶとき、機能比較表だけ見ていないか？ 月額料金とAPI呼び出し回数だけで決めていないか？

確認すべきは、そのベンダーが安全性にどれだけ投資しているかだ。

具体的には：

• 安全性に関するレポートや方針を公開しているか
• 過去にインシデントが起きたとき、どう対応したか
• ユーザーからのフィードバックを受け入れる仕組みがあるか

月額5,000円のツールと月額2万円のツールで迷ったとき、その差額1.5万円は「安全性への投資」かもしれない。年間18万円。一度の暴走事故で顧客を失うコストと比べれば、安い保険だ。

—

中小企業がやるべきことは3つだけ

長々とリスクを並べたが、結局どうすればいいのか。

①AIエージェントの連携には「人間チェックポイント」を入れる。
全自動は魅力的だが、今はまだ早い。特に金銭が動く処理、顧客に直接届くアウトプットには、必ず人間の目を通す。コストは月に数時間の人件費。暴走のリカバリーコストに比べれば誤差だ。

②AIツールの「できないこと」を事前に洗い出す。
導入前のテストに1〜2週間かける。本番と同じ業務データで試す。「お答えできません」が返ってくるパターンをリスト化する。これだけで導入後のトラブルが激減する。

③ベンダーの「安全性への姿勢」を見る。
安いから、有名だから、ではなく。安全性レポートを出しているか、インシデント対応の実績があるか。ここを見るだけで、地雷を踏む確率は大幅に下がる。

—

「便利」と「危険」は同じコインの裏表

AIエージェントのコストは劇的に下がっている。1年前に月額30万円かかっていた業務自動化が、今は月額3万円でできる。この流れは止まらない。

だからこそ、中小企業にとってAIは「使わない」という選択肢がなくなりつつある。競合が使えば、使わない企業はコスト競争で負ける。

だが、「安いから全部任せる」は最悪の判断だ。

コストが下がったからこそ、「何を任せて、何を任せないか」の判断が経営の腕の見せどころになる。

AIエージェントは道具だ。道具は使い方次第で武器にもなれば、自分を傷つける凶器にもなる。

今日紹介した3つの事件は、いずれも「AIの中身を見ていなかった」ことが原因だ。Google DeepMindほどの組織でさえ、15億円かけて今から調べようとしている段階。

中小企業が完璧な対策を打つ必要はない。だが、「何が起きているかわからないまま全部任せる」だけはやめてほしい。

5%の人間チェック、導入前の2週間のテスト、ベンダーの安全性確認。この3つに必要なコストは、せいぜい数万円と数十時間だ。

それで防げるリスクの大きさを考えれば、やらない理由がない。

—