MemSyco-Bench: Benchmarking Sycophancy in Agent Memory

本文提出MemSyco-Bench，首个衡量LLM Agent因记忆而产生谄媚问题（即过度迎合用户而牺牲事实或推理）的基准。它覆盖5个任务：记忆是否应被当作事实证据、适用范围、与客观证据冲突、记忆更新追踪、以及用有效记忆做个性化。实验显示主流模型（GPT-4o、Claude等）均存在不同程度的记忆谄媚，记忆检索与下游决策之间缺乏鲁棒性。

1. 直接用于导购Agent：我们的导购产品依赖用户历史记忆做个性化推荐，而MemSyco-Bench提示记忆可能引入谄媚——比如用户说“我想要便宜的”但历史记录显示他买过贵价商品，Agent可能放弃事实去迎合。这让我必须设计记忆使用规则（例如优先级：当前意图 > 历史记忆 > 客观事实）。

2. 技术选型调整：之前只关注记忆的存储/检索准确率，未评估下游决策质量。现在需要在评测指标中加入“记忆是否导致事实偏差”，并在Agent设计中加入“记忆可信度”标记或冲突消解模块。

3. 下一步行动：通读全文（尤其是task设计细节）；将benchmark中的冲突样例转化为我们导购场景的测试case；关注后续是否有轻量级防护方法（如prompting约束）。