When Classic Cache Policies Fail: Learning-Augmented Replacement for Semantic Retrieval Buffers

论文揭示现有LLM agent的检索缓存管理策略存在根本缺陷：经典启发式（LRU, LFU）甚至不如简单的FIFO，原因是语义场景中缺乏时间局部性和频率集中。作者形式化为带切换成本的在线语义缓存替换问题，提出SOLAR框架，通过遗憾累积确定修改时机（仅17%修改率），通过贝叶斯在线学习从隐式检索反馈中选择内容。证明SOLAR实现常数竞争比（≤3），且驱逐遗憾为O(KT log T)，匹配下界。实验在内存基准（LoCoMo, DialSim）上，紧缓存下相比FIFO提升5-75%，并揭示“工作集边界”的相变现象。

1. 直接应用到导购agent：导购产品需要复用历史对话经验（如客户偏好、产品比价），目前的缓存策略（如按时间淘汰）可能是次优的。SOLAR的"学习何时保留/淘汰"思路可改进我们的记忆模块，尤其在对话上下文窗口有限时。
2. 改变技术选型判断：之前直觉认为LRU/LFU在语义缓存中合理，但实验证明它们平均表现差。未来设计memory buffer时应优先考虑基于反馈信号的动态策略，而非固定启发式。
3. 接下来行动：读全文实现细节（尤其是Bayesian online learning部分），评估在导购场景的小规模实验（我们目前的对话记忆约200条），并关注后续是否有开源实现或更具体的产品化方案。