結論から言う。AIに「覚えさせる」のは、想像以上に高い

AIエージェントに過去のやり取りを記憶させる。顧客対応の文脈を保持させる。前回の商談内容を踏まえて提案させる——。

これ、めちゃくちゃ便利に聞こえるが、裏側ではトークンが猛烈に燃えている。

最近公開されたメモリシステムのベンチマーク研究によると、AIエージェントに記憶機能を載せた場合、400ターン（約200往復）の会話で発生するAPI利用コストは、システムによっては会話履歴をそのまま毎回全文送信するより高くつくケースすらある。

月に数十件の顧客対応をこなすエージェントなら、メモリ関連コストだけで月10万円を超えることは珍しくない。年間120万円。地方の中小企業にとって、これは「パート1人分の人件費」だ。

問題は、このコストがほとんど可視化されていないこと。そして「記憶させるほど賢くなる」という素朴な期待が、構造的に裏切られるケースがあることだ。

メモリシステム3種を比較したら、コスト差は最大6倍だった

ベンチマーク研究で比較されたのは、Mem0、Hindsight、Mastra Observational Memoryの3つのメモリシステム。いずれもAIエージェントに「過去の会話を覚えさせる」ための仕組みだが、内部構造がまったく違う。

結果はこうだ。

• 最安のシステム：400ターンで約$3〜5（約450〜750円）
• 最高のシステム：400ターンで約$18〜30（約2,700〜4,500円）
• フルトランスクリプト再送信（メモリなし、毎回全文送信）：約$8〜12（約1,200〜1,800円）

注目すべきは、最も高価なメモリシステムを使うくらいなら、過去の会話をそのまま毎回送り直した方が安いという逆転現象が起きていること。

なぜこうなるか。メモリシステムは「記憶の書き込み」「検索」「更新」のたびに内部でLLMを呼び出す。1回の会話で裏側では3〜5回のAPI呼び出しが走っている。ユーザーには見えないが、トークンは確実に消費されている。

これを月間の業務量に換算してみる。

• 1日20件の顧客対応 × 平均50ターン/件
• 月間営業日20日 × 20件 = 400件/月
• 1件あたりのメモリコストが$5だとすると、月間$2,000（約30万円）
• 最安システムでも月間$1,200〜（約18万円）

「AIで人件費を削減」と言いながら、メモリ代だけでパート2人分が飛ぶ。 これが現実のコスト構造だ。

「要約して安くする」は、思ったほど万能じゃない

コストを下げる定番の手法が「コンテキスト圧縮」だ。過去の会話を要約（ギスト化）して、短いテキストに圧縮してから送る。トークン数が減るからコストが下がる。理屈は正しい。

だが、ここに落とし穴がある。

研究結果によると、ギスト圧縮を行った場合、時間・日付に関する質問の回答精度が大幅に低下することがわかっている。「先週の打ち合わせで決まった納期はいつでしたか？」「前回の見積もりを出したのは何月何日ですか？」——こういう質問に答えられなくなる。

要約とは「重要でない情報を捨てる」行為だ。しかし何が重要かは、質問されるまでわからない。AIが要約時に「この日付は重要度が低い」と判断して捨てた情報が、後から致命的に必要になる。

中小企業の実務で考えてみてほしい。

• 顧客が「前回と同じ条件で」と言ったとき、前回の条件を覚えていない
• 「先月お伝えした納期」が圧縮で消えている
• 「以前ご提案した価格」が丸められている

これでは記憶させている意味がない。コストを下げた結果、信頼を失う。 最悪のトレードオフだ。

じゃあ、中小企業はどうすればいいのか

「記憶させると高い。圧縮すると精度が落ちる。じゃあ詰みじゃないか。」

そうではない。問題は「全部を記憶させようとする」設計にある。

ここからが、中小企業の「正しいケチり方」だ。

1. 記憶させる対象を絞る

全会話を記憶させる必要はない。記憶すべきは「顧客ごとの確定事項」だけだ。

• 契約条件、価格、納期などの確定情報
• 顧客の好み・NG事項
• 過去のクレーム内容と対応結果

これらは構造化データとしてデータベースに保存し、必要なときだけ検索して渡す。会話の流れや雑談は記憶させない。これだけでメモリコストは1/5〜1/10になる。

2. メモリではなく「検索」で解決する

RAG（検索拡張生成）の仕組みを使えば、過去の情報は「記憶」ではなく「検索」で引き出せる。ベクトルDBの月額コストは数千円〜。メモリシステムの月10万円と比べれば桁が違う。

会話履歴をそのまま保存しておき、関連する部分だけを検索してプロンプトに差し込む。これなら圧縮による情報損失もない。

3. 「忘れさせる」設計を入れる

人間だって全部は覚えていない。AIにも「忘却ポリシー」を設計すべきだ。

• 30日以上前の会話履歴は自動削除
• 確定事項だけを構造化データに転記してから削除
• 直近5件の会話だけをコンテキストに含める

このルールだけで、トークン消費量は劇的に減る。月10万円が月1〜2万円に収まるケースも十分ある。

4. まず「メモリなし」で運用してみる

そもそも、本当にメモリが必要なのか？　毎回ゼロから会話しても問題ない業務は多い。社内のFAQ対応、定型的な見積もり作成、マニュアル検索——これらにメモリは不要だ。

「記憶させなくても回る業務」を先に洗い出す。 これが最もコスト効率の高いアクションだ。

コストが見えないものは、コントロールできない

AIエージェントの導入で最も危険なのは、「なんとなく便利そうだから全部載せる」という設計だ。メモリ機能はその典型で、載せた瞬間にコストが跳ね上がるが、請求書が届くまで誰も気づかない。

今すぐやるべきことは3つ。

1. 今のエージェントのトークン消費量を計測する。 APIのダッシュボードを開けば5分でわかる
2. メモリ関連のコストを分離して把握する。 全体の何割がメモリに食われているか
3. 「この記憶、本当に必要か？」を業務単位で問い直す

大企業なら月100万円のメモリ代も許容できるかもしれない。だが中小企業は違う。限られた予算で最大の効果を出すには、「何を覚えさせないか」を設計する力が必要だ。

AIの進化で記憶のコストは今後下がっていく。だが「下がるまで待つ」では遅い。今の構造を理解して、今のコストで成果を出す。それが中小企業の戦い方だ。

—