RoMeRL: Balancing Feedback Coverage and the Memory-Reward Trap in Self-Evolving Agent Memory via Reduced-Order Utility States

RoMeRL 提出一种新的记忆强化学习方法，针对自进化 LLM agent 中轨迹索引效用空间膨胀和轨迹级奖励共担导致的记忆-奖励陷阱问题。它通过固定维度的按任务划分的记忆状态（按结果极性和记忆动态分解）表示不断增长的效用空间，并利用一组语义坐标随时间更新或替换来整合新经验，从而将反馈集中在有界的效用支撑上。理论上证明了降阶参数化能增加每个坐标的平均反馈，并刻画了错误坐标的稳态占用；在 ALFWorld 和 LifelongAgentBench 上，RoMeRL 提升了任务性能，Cold-Q 比率降低80%，反馈密度提高6倍，内存占用减少84.4%，LLM调用减少21.1%。

1. 对导购 agent 有直接借鉴意义：我们的 agent 需要长期记忆和多轮交互，RoMeRL 的降阶状态方法能缓解反馈稀疏和奖励污染，提升记忆利用效率和任务表现，值得深入阅读并评估是否引入。
2. 改变了我的一个判断：之前我以为 memory 系统主要靠检索质量和存储结构，没想到效用更新的维度控制也如此关键。这提示我在设计技能库/记忆模块时，要关注反馈的分配机制，避免无关经验干扰。
3. 接下来：我会阅读全文，重点看降阶状态的具体实现和与现有 RAG/记忆框架的兼容性，并考虑在导购场景做一个小实验，验证 Cold-Q 和反馈密度等指标是否改善。