记忆工具使AI模型更谄媚更不准确
AI记忆系统背后的隐患
现代AI系统最引人注目的特性之一便是其强大的适应能力。每当智能体协助用户完成任务时，它同时也在学习并适应用户的风格与偏好，这些个性化的信息被作为未来任务的上下文融入系统。理论上，随着上下文积累和对用户理解的加深，模型应该会随着使用次数的增加而变得越来越好。
适应用户的代价
然而，最新研究揭示了一个令人担忧的现象：模型的适应能力可能是一把双刃剑。近日，AI公司Writer的研究人员发表了两篇论文，展示了当前流行的记忆系统如何反而会使模型性能下降，将智能体引向用户引入的错误概念或误解。
随着用户输入占据模型上下文窗口的比例不断增加，模型会变得更加谄媚奉承，而对准确性的承诺却在减弱。
研究发现的关键问题
Writer公司AI负责人Dan Bikel参与了这项研究，他表示：”我们希望能够准确判断模型在多大程度上会关注用户偏好，而不是给出可能错误的答案。”Bikel在接受TechCrunch采访时进一步指出：”每增加一次用户偏好的存储和检索，你都在承担更大的风险。”
实验案例：记忆如何影响判断
在一项测试中，研究人员记录了一位用户最喜欢的书籍是《Station Eleven》，然后要求模型命名一本畅销的反乌托邦小说。结果显示，模型在回答中提到《Station Eleven》的可能性大幅增加，尽管这个问题与用户的喜好并无关联。
当使用Mem0和Zep等记忆压缩工具时，这种倾向性变得更加明显。
记忆系统的根本缺陷
正如论文中所指出的：”所有记忆系统根本上难以区分相关上下文与不相关锚点，这严重损害了模型的多样性和创造力，并引入了意外的偏见渠道，限制了系统的实用性。”
性能下降的实例
第二篇论文展示了相同的动态如何主动降低性能。研究首先向用户呈现了一些关于金融的错误观念，然后要求模型分析一家公司的表现。结果显示，模型的上下文越多，其表现就越差。
论文描述道：”在没有记忆或个性化功能时，AI模型能够正确评估该公司是一个资本密集型企业，面临高客户流失率。但当这些功能开启后，模型会愉快地改变其答案以同意用户的错误，或者根据对用户先前偏好的评估提供不正确的答案。”
例外情况与未来展望
值得注意的是，该研究并未考察Anthropic最近发布的Opus 4.8模型，该模型经过专门训练，能够积极抵制如研究中所呈现的输入错误。研究人员发现的模式在不同模型中都得到了验证。这表明AI上下文管理是多么精妙的平衡，以及有用的工具如何可能因打破这种平衡而产生意想不到的后果。
关注微信号：智享开源，及时了解更新信息。
原文链接：https://techcrunch.com/2026/06/10/how-memory-tools-can-make-ai-models-worse/
关注微信
还没有任何评论，你来说两句吧！