AgentKVShift: Efficient KV Cache Reuse for Agentic Memory Systems

AgentKVShift 针对LLM agent的agentic memory系统，提出一种无需训练、基于探针的KV残差校正方法。它发现每个记忆单元的KV重用残差可分解为共享的memory-level偏移和少量token级波动，通过小探针集估计偏移量，即可用单次加权校正修复所有复用token，而非仅刷新部分token而让其余缓存过时。实验表明，在3B-32B模型和长时对话/agent任务上，仅刷新10-30%缓存即可达到接近全重编码的性能，相比基线方法实现2-3.5倍prefill加速，且与KV量化正交叠加。

1. 直接可用性高：我的导购/agent产品中，agentic memory（如用户长期偏好、对话历史摘要）经常需要频繁检索和重编码，AgentKVShift能显著降低prefill延迟，提升交互实时性。可以快速接入现有推理管线，无需训练成本。\n2. 改变了技术选型判断：之前认为训练-free KV重用方法只适用于RAG场景，对结构化记忆效果差。AgentKVShift证明通过残差校正可以接近全重编码，使我更倾向于在agent memory系统中采用此类轻量加速方案，而非依赖模型微调或特殊架构。\n3. 接下来行动：阅读全文复现代理码，评估在自建agent记忆模块（基于Llama/Mistral系列）上的实际加速比与准确率；若效果符合预期，优先集成到情报平台中处理论文摘要存储。