結論から言う。AIエージェントの月額コスト、半分は「記憶の無駄遣い」だ

AIエージェントを導入した中小企業から、こんな相談が増えている。

「最初は月2万円くらいだったのに、気づいたら月8万円になってた」

これ、バグじゃない。AIの「記憶の仕組み」を理解せずに運用した結果だ。

AIエージェントは会話するたびに「文脈（コンテキスト）」を保持する。過去のやりとりを覚えていてくれるから賢く見えるわけだが、この「覚えている」にはトークンという単位でカネがかかる。そして厄介なのは、このコストが会話の長さに対して線形ではなく、二次関数的に膨らむということだ。

会話が2倍になればコストは4倍。3倍なら9倍。これが「見えない請求書」の正体である。

中小企業にとって月額数万円の差は大きい。だからこそ、「記憶の設計」を見直すだけでコストが半分以下になるという事実を、具体的な数字とともに伝えたい。

—

なぜ「記憶」がコストを食うのか——構造を理解する

まず、AIエージェントの記憶コストがどこで発生するかを整理する。

OpenAIのGPT-4oを例に取ろう。入力トークンの単価は100万トークンあたり約2.5ドル（約375円）、出力は約10ドル（約1,500円）だ。一見安く見える。

だが問題は、エージェントが毎回の応答で過去の会話履歴をすべて入力トークンとして再送信するという仕組みにある。

具体的に計算してみる。

• 1回の問い合わせ対応で平均500トークンのやりとりが発生するとする
• 10往復の会話になると、最後の1回の入力だけで約5,000トークンを消費する
• しかし実際には、毎回の入力に過去の全履歴が含まれるため、累計の入力トークン数は500+1,000+1,500+…+5,000＝約27,500トークンになる

これが1日50件の問い合わせで回ると、月間の入力トークンだけで約4,125万トークン。GPT-4oなら月額約1万5,000円が「入力の記憶コスト」だけで飛ぶ。出力を合わせれば軽く月3〜5万円になる。

そしてこれは「何も工夫しなかった場合」の数字だ。会話が長くなりがちなカスタマーサポート用途や、過去の商談履歴を参照する営業支援エージェントでは、この数倍に膨らむケースがざらにある。

ある地方の不動産会社では、物件案内AIエージェントの月額API費用が導入3ヶ月で当初の3.2倍に膨れ上がった。原因は、顧客ごとの会話履歴を全件保持したまま毎回送信していたことだった。

—

「記憶の設計」で何が変わるか——3つのレバー

では、どうすればいいのか。記憶コストを下げるレバーは大きく3つある。

1. 会話履歴の「要約圧縮」——全部覚えなくていい

最もインパクトが大きいのがこれだ。

過去の会話をそのまま保持するのではなく、一定のターン数を超えたら要約して圧縮する。例えば、10往復の会話履歴を毎回5,000トークン送る代わりに、過去の要約200トークン＋直近3往復の1,500トークン＝合計1,700トークンに圧縮できる。

これだけで入力トークン数は約66%削減される。

実装も難しくない。LangChainやLlamaIndexには「ConversationSummaryMemory」という仕組みがあり、一定ターン数ごとに自動で要約を生成してくれる。設定を変えるだけで、翌月の請求が目に見えて変わる。

先述の不動産会社では、この要約圧縮を導入した結果、月額API費用が8.7万円から3.1万円に下がった。約64%の削減だ。

2. KVキャッシュの活用——同じ文脈を何度も送らない

OpenAIやAnthropicのAPIには「プロンプトキャッシュ」機能がある。システムプロンプトや共通の指示文など、毎回同じ内容を送信する部分をキャッシュすることで、入力トークンのコストを最大50%削減できる。

AnthropicのClaude APIの場合、キャッシュされたトークンの読み取りコストは通常の10分の1だ。システムプロンプトが2,000トークンあるなら、キャッシュを有効にするだけで、その部分のコストは月間で数千円単位で変わる。

中小企業のAIエージェントは、たいてい同じシステムプロンプト（「あなたは○○会社のカスタマーサポート担当です…」）を毎回送っている。これをキャッシュに乗せるだけで、何もしないより確実に安くなる。設定変更は数行のコードで済む。

3. コンテキストウィンドウの「上限設定」——際限なく覚えさせない

3つ目は、そもそも記憶の上限を決めてしまうことだ。

GPT-4oのコンテキストウィンドウは128Kトークンまで対応しているが、だからといって128K使い切る必要はない。むしろ、用途に応じて4K〜16Kに制限する方が、コストも品質もコントロールしやすい。

意外に思うかもしれないが、コンテキストが長すぎると応答精度が下がるという研究結果もある。「Lost in the Middle」と呼ばれる現象で、長い文脈の中間部分の情報をAIが見落としやすくなる。つまり、記憶を絞った方が安くて正確という逆転が起きる。

中小企業の問い合わせ対応なら、直近5往復＋要約＝4,000トークン程度で十分なケースがほとんどだ。

—

実際にいくら変わるのか——コスト試算

具体的な数字で見てみよう。

条件：1日50件の問い合わせ、1件あたり平均10往復、GPT-4o使用

年間21万円。中小企業にとっては、パート1人分の月給に近い金額だ。しかもこれは1つのエージェントでの試算。社内に複数のAIエージェントを走らせていれば、効果はさらに倍増する。

—

中小企業だからこそ「記憶設計」で勝てる理由

ここからが本題だ。

大企業はトークンコストを気にしない。潤沢な予算で128Kトークンをフルに使い、精度を最優先にする。それが大企業の戦い方だ。

だが中小企業は違う。コストを絞りながら、実用十分な品質を出すのが勝ちパターンだ。そしてこの「記憶設計」は、まさにそのレバーになる。

考えてみてほしい。

• 町の工務店の問い合わせ対応に、128Kトークンの文脈が必要か？
• 地方の税理士事務所のFAQボットに、全会話履歴の保持が必要か？

答えはNoだ。直近の文脈と、過去のやりとりの要約があれば十分。むしろ、用途を絞って記憶を設計できる中小企業の方が、コスト効率では大企業より有利になる。

大企業は汎用性を求めるがゆえに、記憶設計を大雑把にせざるを得ない。中小企業は用途が明確だからこそ、ピンポイントで最適化できる。これは構造的な優位性だ。

—

で、結局どうすればいいのか——明日からやれる3ステップ

難しい話は抜きにして、明日からやれることを3つ。

ステップ1：今のAPI請求書を見る

まず、今月のトークン使用量と請求額を確認する。OpenAIならUsageダッシュボード、AnthropicならConsoleで見られる。「思ったより高い」と感じたら、それは記憶設計の問題である可能性が高い。

ステップ2：会話要約を入れる

LangChainを使っているなら`ConversationSummaryBufferMemory`に切り替える。max_token_limitを2,000〜4,000に設定するだけで、それ以前の会話は自動で要約される。これだけで入力トークンが半分以下になる。

ステップ3：プロンプトキャッシュを有効にする

AnthropicのClaude APIなら`cache_control`パラメータを設定する。OpenAIのAPIでも、Assistants APIのスレッド機能を使えば内部的にキャッシュが効く。システムプロンプトが長いほど効果が大きい。

この3つを実行するのに、必要な時間は半日。外注する必要もない。エンジニアが1人いれば、今週中に終わる。

—

記憶を設計するとは、「何を忘れるか」を決めることだ

最後に一つ。

AIの記憶設計とは、「何を覚えるか」ではなく「何を忘れるか」を決めることだ。

人間の記憶と同じで、すべてを覚えている必要はない。重要なのは、必要な情報を必要なタイミングで引き出せること。そしてそのために、不要な情報を捨てる判断ができること。

この「忘れる設計」ができている中小企業のAIエージェントは、コストが低く、応答が速く、精度も高い。三拍子揃う。

逆に、何でもかんでも覚えさせているエージェントは、遅くて高くて不正確になる。

AIエージェントの月額請求書を見て「高いな」と思ったら、まず記憶の設計を疑ってほしい。答えは、たいていそこにある。

—