「誰がやったか」が消えた。で、「なぜそうなったか」は誰が説明する？

ExcelやGoogleスプレッドシートに、AIエージェントが入り込み始めている。数式の自動生成、データのクレンジング、集計ロジックの構築——これまで「経理の田中さんしかわからない」だった作業が、AIに置き換わりつつある。

属人化が消える。これは良いことだ。だが、ここで一つ問いたい。

「田中さんの代わりにAIがやった。で、そのAIがなぜその数式を選んだのか、誰が説明できるのか？」

属人化は消えた。しかし説明責任は消えない。むしろ、追跡コストが爆発的に増えるという、もっと厄介な問題が残る。arXivに発表された研究「スプレッドシートにおけるAIエージェントの行動監査と制御」が、まさにこの問題に切り込んでいる。地方の中小企業にとって、これは他人事ではない。

研究が示した事実：AIエージェントの判断は「ブラックボックス」になる

この研究の核心はシンプルだ。AIエージェントがスプレッドシート上で複雑な作業を実行するとき、ユーザーはその判断過程をほぼ追跡できないという事実を実験で示した。

具体的にはこういうことだ。AIエージェントに「売上データを集計して」と指示する。エージェントは数式を組み、フィルタをかけ、ピボットテーブルを作る。結果は出る。だが、なぜその集計方法を選んだのか、なぜ特定のデータを除外したのか、前提条件は何だったのか——これらが見えない。

田中さんなら「あ、それは税抜きで計算してるんですよ」と聞けば答えてくれた。AIエージェントは、聞かなければ答えない。しかも、聞いても正確に答えられるとは限らない。

研究チームが開発した「Pista」というシステムは、この問題に対する一つの解を提示している。Pistaは、AIエージェントの実行プロセスを監査可能な個別アクションに分解する。各ステップでユーザーが確認・介入できるようにすることで、「なぜそうなったか」を追跡可能にする設計だ。

ユーザーテストでは、Pistaを使った場合、エージェントの判断に対する理解度が従来比で約40%向上したという結果が出ている。逆に言えば、こうした仕組みがなければ、AIの判断は6割近くが「よくわからないまま通過する」ということだ。

「AIの属人化」という矛盾——仕組み化したはずが、別の依存が生まれる

ここからが本題だ。

属人化を排除するためにAIを入れた。ところが、AIエージェント自体が「特定の使い方」に最適化されてしまうケースが出てきている。研究では「行動移転（behavioral transfer）」と呼ばれる現象が報告されている。

どういうことか。AIエージェントが特定ユーザーの過去の操作パターンを学習し、そのユーザー固有の前提でデータを処理するようになる。例えば、ある経理担当者が常に消費税を手動で調整していた場合、エージェントもその「癖」を引き継ぐ。担当者が変わっても、エージェントは前任者の癖で動き続ける。

これは「人の属人化」が「AIの属人化」に置き換わっただけだ。しかも、人の属人化は「田中さんに聞けばわかる」で済んだ。AIの属人化は、なぜそう動いているのか本人（AI）すら明確に説明できない場合がある。

中小企業の現場で考えてほしい。従業員10人の会社で、経理のスプレッドシート処理をAIエージェントに任せた。半年後、担当者が退職した。新しい担当者がエージェントの出力を見て「この数字、なんでこうなってるんですか？」と聞く。誰も答えられない。AIにも聞けない。これが、属人化の消えた先に待っている現実だ。

コストの話をしよう——監査は「贅沢品」ではない

「監査の仕組みが必要なのはわかった。で、いくらかかるの？」

正直に言う。現時点で、Pistaのような監査システムを中小企業が独自に構築するのは現実的ではない。研究段階のプロトタイプであり、商用化はまだ先だ。

だが、コスト構造は見えてきている。

AIエージェントの利用コスト自体は下がり続けている。 GPT-4クラスのAPIを使ったスプレッドシート自動処理は、月額数千円〜数万円で動く。従来、外部の税理士やコンサルに月5万〜15万円払っていたデータ整理作業が、月5,000円で回る世界がすでに来ている。

問題は、浮いたコストの一部を「監査」に回す発想があるかどうかだ。

今の中小企業の多くは「AIで安くなった、ラッキー」で止まっている。しかし、監査なしで運用すれば、ある日突然「この決算数値、根拠は？」と税務署や取引先に聞かれたとき、答えられない。そのリスクは、月5,000円の節約とは比較にならない。

具体的に何をすべきか。現時点で中小企業が取れる現実的な手段は3つある。

1. AIエージェントの操作ログを残す設定にする
Googleスプレッドシートなら変更履歴は自動で残る。ただし、AIエージェント経由の変更が「誰の指示で、どんなプロンプトで実行されたか」まで記録するには、エージェント側のログ出力設定が必要だ。これはほぼゼロコストでできる。やっていない会社が大半だが、今日からやるべきだ。

2. 「プロンプト＋出力」のペアを月次で保存する
AIに何を指示して、何が出力されたか。このペアを記録しておくだけで、後から「なぜそうなったか」の追跡が格段に楽になる。Google Driveに月次フォルダを作って放り込むだけ。コストはゼロ。手間は月30分。

3. 四半期に一度、AIの出力を人間がサンプルチェックする
すべてを監査する必要はない。四半期に一度、主要な集計結果を人間が手計算で検算する。これだけで「AIが変な学習をしていないか」の早期発見ができる。所要時間は半日程度。外部に頼んでも2〜3万円だ。

この3つを合わせても、年間コストは10万円以下。AIエージェントで浮く年間コスト（外注費削減分で50万〜150万円）の1割にも満たない。

本当の問いは「AIを使うか」ではなく「AIの判断に責任を持てるか」

この研究が突きつけているのは、技術の問題ではない。責任の問題だ。

AIエージェントがスプレッドシートを操作する。出力された数字で経営判断をする。融資の申請書に載せる。取引先に見積もりとして出す。その数字の根拠を、誰が、どうやって説明するのか。

大企業なら情報システム部門があり、監査法人がいて、コンプライアンス体制がある。中小企業にはそれがない。だからこそ、仕組みで担保するしかない。

逆に言えば、ここにチャンスがある。AIエージェントの監査を仕組み化できた中小企業は、取引先や金融機関からの信頼度が上がる。「うちはAIを使っていますが、監査体制もあります」と言えるだけで、他社との差別化になる。大企業が何百万円もかけて構築する監査体制を、中小企業は月1万円以下の運用で実現できる可能性がある。これは、中小企業だからこそできる身軽さだ。

まとめ：属人化の次に来る「説明責任の属人化」を防げ

AIエージェントは属人化を消す。これは確実に起きる。だが、その先に「説明責任の属人化」という新しい罠が待っている。「AIのことはよくわからないけど、動いてるからいいや」——これは、かつての「田中さんに任せてるから大丈夫」と構造的に同じだ。

違うのは、田中さんは聞けば答えてくれたが、AIは聞いても答えてくれないかもしれないということだ。

今日からできることは明確だ。ログを残せ。プロンプトを保存しろ。四半期に一度、検算しろ。年間10万円以下の投資で、「なぜそうなったか」を説明できる会社になれる。

AIを使うかどうかは、もう問いではない。AIの判断に責任を持てる体制を作れるかどうか。それが、これからの中小企業の分かれ目になる。

—