AIが27,000の実験を数日で自動実行した——。

シタデルが公開したAIエージェントの研究事例が話題だ。博士課程レベルの課題を、人間なら数年かかるペースで片付けた。すごい、で終わる話じゃない。「勝手に動くAI」が当たり前になったとき、止め方を知らない会社はどうなるのか。 これが本題だ。

中小企業にとって、AIエージェントは「安くて優秀な従業員」に見える。月額数千円〜数万円で、問い合わせ対応、データ入力、レポート作成、コードレビューまでやってくれる。人件費が月30万円のパート1人分だとして、AIエージェントなら月1万円以下で24時間稼働する。コスト比は30分の1。導入しない理由がない——ように見える。

だが、ここに2つの「見えないコスト」がある。暴走コストと放置コストだ。

—

暴走コスト——AIが「やりすぎる」リスクの値段

暴走コストとは、AIエージェントが想定外の判断・行動をした結果、発生する損害のことだ。

具体例を挙げる。ある海外のスタートアップでは、AIエージェントにコードレビューを任せていた。人間の開発者を模倣するよう設計されたそのエージェントは、コードの承認権限まで持っていた。結果、セキュリティホールを含むコードがそのまま本番環境にデプロイされた。修正と対応にかかったコストは、導入で浮いた人件費の数十倍だったという。

これはソフトウェア開発の話だが、構造は同じだ。たとえば中小企業でよくある「AIに顧客対応メールを自動送信させる」ケース。AIが誤った価格を提示したら？ 契約条件と異なる内容を送ったら？ 1通のメールが取引先との信頼を壊す。人件費を月25万円削減しても、1件の誤送信で100万円の損害が出れば、4ヶ月分が吹き飛ぶ。

暴走コストの本質は「AIに判断の最終権限を渡してしまうこと」にある。人間が最後に確認するステップを省いた瞬間、コスト削減の効果はリスクに反転する。

—

放置コスト——AIを「見なくなる」リスクの値段

もう一つ、暴走コストより厄介なのが放置コストだ。

AIエージェントは優秀だから、最初のうちはうまく回る。うまく回るから、人間は見なくなる。見なくなるから、いつの間にかズレが蓄積する。そしてある日、「なんでこうなってるの？」と気づいたときには、修正コストが膨れ上がっている。

典型的なのは、AIが自動で処理している経費精算や在庫管理だ。月次で確認していたものを「AIに任せたから大丈夫」と放置する。3ヶ月後に見たら、分類ルールがズレて帳簿がめちゃくちゃ。税理士に修正を依頼して追加費用15万円——こういう話は、すでに起き始めている。

放置コストの本質は「監視の不在」だ。中小企業は人的リソースが限られている。だからこそAIを入れるのだが、AIを監視する人間がいないと、コスト削減どころかコスト増になる。 この矛盾を直視しないといけない。

—

中小企業が「今日」つけるべき3つのブレーキ

では、どうすればいいのか。大企業のように専任のAIガバナンスチームを置く余裕はない。だからこそ、仕組みで止める。 以下の3つは、今日から設定できるブレーキだ。

ブレーキ1：金額と影響範囲で「人間の承認ライン」を引く

AIに全部任せるか、全部チェックするか——この二択で考えるから失敗する。

やるべきは「閾値の設定」だ。たとえば：

• 金額が5万円を超える発注・見積もり → 人間が承認
• 社外に送信するメール・文書 → 人間が最終確認
• 顧客データの変更・削除 → 人間の許可が必要

この3つのルールを決めるだけで、暴走コストの大半は防げる。ポイントは「AIがやっていいこと」ではなく、「AIだけではやらせないこと」を先に決めることだ。これなら5分で決められる。

権限設定はツール側でも対応できる。たとえばZapierやMake（旧Integromat）などの自動化ツールには、条件分岐で「人間の承認を挟む」ステップを入れる機能がある。月額数千円のツールでガードレールが引ける。

ブレーキ2：AIの行動ログを「週1回、15分」で確認する

放置コストを防ぐには、監視の仕組みが必要だ。ただし、中小企業に「常時監視」は無理だ。

現実的な解は、週1回15分のログレビューを業務に組み込むこと。

具体的には：

• AIエージェントが処理した件数と内容のサマリーを自動出力させる
• 異常値（通常の2倍以上の処理件数、エラー率の上昇など）にアラートを設定する
• 週次ミーティングの冒頭15分で、そのサマリーを確認する

ChatGPTやClaude APIを使っているなら、利用ログは管理画面で確認できる。API経由のトークン消費量が急増していたら、それだけで「何かおかしい」と気づける。月のAPI費用が通常5,000円なのに突然3万円になっていたら、AIが暴走している可能性がある。コストの異常は、行動の異常のシグナルだ。

ログを残す仕組みとしては、Googleスプレッドシートに自動記録するだけでも十分だ。高度なEPIフレームワークを導入する必要はない。まず「記録する」「見る」の2つを習慣にすること。

ブレーキ3：3ヶ月に1回、「AIに何をやらせているか」を棚卸しする

AIエージェントは増殖する。最初は1つだったのが、便利だからと2つ、3つと増える。Slackボット、メール自動返信、データ集計、SNS投稿——気づけば5つも6つも動いている。

問題は、それぞれのAIが何の権限を持っていて、どこにアクセスできるのかを誰も把握していない状態になることだ。セキュリティの観点では、これが最大のリスクになる。

3ヶ月に1回、以下の棚卸しをやる：

この棚卸しに1時間もかからない。だが、これをやるかやらないかで、セキュリティリスクとコストの無駄が劇的に変わる。使っていないAIエージェントのAPI費用を月3,000円払い続けていた——こういう「小さな放置コスト」が5つ重なれば月1.5万円、年間18万円だ。中小企業にとって18万円は無視できない。

—

結局、AIエージェント時代に必要なのは「止める設計」

AIエージェントの導入コストは劇的に下がっている。月1万円以下で「それなりに動く自動化」が手に入る時代だ。だからこそ、「動かす設計」より「止める設計」のほうが価値が高い。

大企業はAIガバナンスの専門チームを作り、数千万円かけてフレームワークを整備する。中小企業にそれは無理だし、必要もない。

必要なのは3つだけだ。

1. 人間の承認ラインを引く（5分で決められる）
2. 週1回15分、ログを見る（習慣にするだけ）
3. 3ヶ月に1回、棚卸しする（1時間で終わる）

合計コストはほぼゼロ。だが、これがあるかないかで、AIエージェントが「優秀な従業員」になるか「制御不能な暴走マシン」になるかが分かれる。

AIが勝手に動く時代は、もう来ている。問題は「どう動かすか」じゃない。「どう止めるか」を決めているかどうかだ。

今日、まず1つ目のブレーキから設定してほしい。

—