Plans Don't Persist: Why Context Management Is Load Bearing for LLM Agents

本文发现 LLM agent（如 Llama-70B）在执行长任务时，计划（plan）信息仅存在于上下文窗口中，一旦被压缩/摘要/驱逐，agent 就失去计划，而非内化为持久状态。作者提出 replay pairing 诊断方法，通过比较有/无计划在历史中的隐藏态余弦距离，发现计划信号在首个动作后急剧衰减（4.1x）。针对推理模型（如 DeepSeek-R1），其 痕迹会重建计划内容，造成测量混淆，作者提出严格剥离方法（strict stripping）可恢复 163% 信号。在 ALFWorld 任务中，直接驱逐计划导致成功率下降 34.7pp，而基于探针的重新浮现无法恢复。

1. 对导购/agent 产品的影响：我们的 agent 依赖长期上下文（用户历史、商品信息、当前对话），若采用压缩/摘要管理上下文，必须确保关键“计划”（如推荐策略、用户偏好总结）不被丢失。本文证明即便在 70B 模型上计划也会快速衰减，意味着小模型（如 7B）可能更严重。实践中应避免将核心决策线索（如全量商品对比列表）放入易被压缩的早期位置，或显式维护持久记忆（如向量数据库）。
2. 改变了技术选型判断：之前认为上下文管理（如 sliding window + summary）是成熟的工程方案，本文揭示了其隐蔽风险——计划类信息在 agent 中并非持久状态，而是上下文居民。这提醒我：在构建“长期记忆”模块时，不能只关注事实数据（如用户属性），更要关注“推理链条/计划”的持久化，可能需设计专门的计划 checkpoint 机制。
3. 接下来做什么：手动复现 replay pairing 测试，在自己的导购 agent（如使用 Llama-3.1-8B）上检查计划衰减曲线；若衰减严重，考虑引入显式的“用户意图/计划”记忆槽，并在每次 agent 步进后注入回上下文。同时关注后续是否有更鲁棒的 context management 方案（如注意力门控持久化）。