ARCANADA
全部文章
博客 2026年11月2日

记忆税:当普通 RAG 胜过智能体记忆

示意图:层层叠加的智能体记忆与原始对话历史流形成对比,中间以“记忆税”楔形标出。

简短回答。在 2026 年 10 月 25 日发布于 arXiv 的一项研究中,来自 UIUC、清华大学等五个团队的研究者,把 11 个开源智能体记忆系统与基于原始对话历史的普通检索放在一起比较。在多数基准和多数模型上,大部分记忆系统的得分低于这条普通基线,而且构建成本通常高得多。作者把这种损失称为“记忆税”,他们的修补办法很简单:保留一条通向原始历史的路径。

核查日期:2026 年 10 月 28 日。

比较的对象

论文题为“Memory Tax: Dissecting the Net Value of Agent Memory”(arXiv 2610.34073)。它的问题很直接:如果为智能体构建一层记忆,它比直接检索“实际说过的话”究竟好多少?

一方是分属四类的 11 个记忆系统:

  • 扁平存储:A-Mem、SimpleMem、MemOS;
  • 分层或带生命周期的记忆:MemoryOS、LightMem、OpenViking;
  • 图记忆:HippoRAG2、PlugMem、MAGMA;
  • 经过训练的记忆策略:Mem-T、Memory-R2。

另一方是“朴素”RAG。历史记录按对话轮次切分,较短的轮次合并成约 1,000 个字符的块;检索把关键词搜索(BM25)、嵌入向量和重排器结合起来。两轮版本会检查第一轮结果是否足够,不够就再检索一次。

测试集为 LongMemEval-s、PersonaMem-v2 和 MINT-Eval,在三个模型上运行:Qwen3.5-4B、Qwen3.6-27B 和 GPT-5.6 Luna。所有系统使用同一个嵌入模型,因此比较的是记忆设计本身,而不是谁的嵌入更好。

转发之前需要知道:Mem0、Zep、Letta 等流行的商业记忆产品没有参加测试。论文对它们会得多少分没有任何说法。

研究发现

在 LongMemEval-s 上使用 GPT-5.6 Luna 时,两轮 RAG 得分为 90.0%。表现最好的记忆系统 A-Mem 和 SimpleMem 为 84.0%,OpenViking 为 63.0%。即使把全部历史直接塞进上下文窗口,也只有 84.0%。

在其他测试集上,规律同样成立,只有少数例外:在 MINT-Eval 上使用 GPT-5.6 Luna 时,PlugMem 和 Mem-T 分别比 RAG 高 3.3 和 3.9 个百分点。所以记忆并非没用:它能答对一些 RAG 漏掉的问题,也会答错一些 RAG 答对的问题,而在大多数设置下,损失更大。

作者还检验了 RAG 是否只是因为调得好才获胜。他们更换了切分方式、检索方法、嵌入模型和重排器,大多数变体与默认配置的差距都在几个百分点以内。他们的结论是:在以往的记忆论文中,RAG 作为基线被低估了。

“税”从哪里来

论文把损失归为三个原因。

  1. 构建记忆时事实丢失。对历史做摘要或重组可能丢掉某个细节,之后没有任何办法把它找回来。
  2. 事实还在,但更难找到。同一个事实被拆到多条记忆条目里,与无关内容混在一起,或被改写到不再与问题匹配。在作者的回放中,记忆系统在第一轮检索中找回的答案比 RAG 少。
  3. 模型更换时,记忆更容易失效。用一个模型构建、由另一个模型读取的记忆,在同样的更换下比 RAG 损失更多准确率。对于寿命会超过当前模型的任何智能体,这一点都很重要。

有一点保留对记忆有利。这些基准对检索比较友好:在其中一些上,简单的关键词方法就已经超过 50%。在真正需要抽象的任务上,记忆有更大的发挥空间。作者在任务经验记忆上看到了这一点:把冗长的网页任务轨迹提炼成可复用的工作流,确实胜过了 RAG;而在工具调用任务上,几种记忆方法则落后了。

该怎么用

作者建议的修补办法不需要新的架构。

  • 保留原始历史,并与记忆一起检索。同时从源历史和记忆中检索,在回答之前把结果一并重排。在他们的测试中,这降低了多个记忆系统的“税”。
  • 让智能体记住自己是怎么找到答案的。把过去的问题与回答它的证据一起存下来,这样一个需要三次检索才找到的事实,下次一次检索就能拿到。
  • 用普通 RAG 来衡量。作者主张在记忆结果旁边报告 RAG 基线,因为它能显示真正还剩多少提升空间。我们的建议再进一步:如果你构建或采购记忆层,请拿它与同一份历史上的普通混合检索对比测试。没有这个数字,就无法判断记忆是否真的有帮助。

实践中:把摘要、事实和记忆图当作历史之上的索引,而不是历史的替代品。原始记录一旦丢失,你也就失去了核对记忆内容的途径。

延伸阅读

常见问题

智能体记忆比 RAG 差吗?
不一定。在这项研究中,多数记忆系统在对话类基准上的得分低于基于原始历史的普通混合 RAG,但有一些在特定任务上更胜一筹。最终结果取决于记忆损失的内容与它带来的增益相比孰多孰少。

什么是记忆税?
指普通检索能答对、而记忆系统答错的那部分问题:构建记忆时丢掉了事实,或让事实更难被找到,或让结果更依赖模型。

这项研究是否说明 Mem0 或 Letta 输给了 RAG?
没有。Mem0、Zep 和 Letta 并未参与测试。被测的 11 个系统是 A-Mem、MemOS、HippoRAG2、OpenViking 等开源的研究型与工业型系统。

应该在智能体记忆旁边保留原始历史吗?
作者建议保留:在记忆之外同时检索原始历史,并把两者的结果一起重排,可以找回记忆丢失或埋没的事实。

来源:Xuan He 等,“Memory Tax: Dissecting the Net Value of Agent Memory”,arXiv:2610.34073,2026 年 10 月 25 日提交。https://arxiv.org/abs/2610.34073