# AgentKVShift: Efficient KV Cache Reuse for Agentic Memory Systems
- 来源：arxiv · https://arxiv.org/abs/2607.21604
- 作者：Nilesh Prasad Pandey, Jason Kong, Lanxiang Hu, Quanling Zhao, Yujie Zhao, Onat Gungor, Hao Zhang, Tajana Rosing

> 无需训练，仅刷新10-30% KV缓存即可达全重编码效果的agentic内存加速方法。

## 概要

AgentKVShift 针对LLM agent的agentic memory系统，提出一种无需训练、基于探针的KV残差校正方法。它发现每个记忆单元的KV重用残差可分解为共享的memory-level偏移和少量token级波动，通过小探针集估计偏移量，即可用单次加权校正修复所有复用token，而非仅刷新部分token而让其余缓存过时。实验表明，在3B-32B模型和长时对话/agent任务上，仅刷新10-30%缓存即可达到接近全重编码的性能，相比基线方法实现2-3.5倍prefill加速，且与KV量化正交叠加。

## 对我的影响

1. **直接可用性高**：我的导购/agent产品中，agentic memory（如用户长期偏好、对话历史摘要）经常需要频繁检索和重编码，AgentKVShift能显著降低prefill延迟，提升交互实时性。可以快速接入现有推理管线，无需训练成本。\n2. **改变了技术选型判断**：之前认为训练-free KV重用方法只适用于RAG场景，对结构化记忆效果差。AgentKVShift证明通过残差校正可以接近全重编码，使我更倾向于在agent memory系统中采用此类轻量加速方案，而非依赖模型微调或特殊架构。\n3. **接下来行动**：阅读全文复现代理码，评估在自建agent记忆模块（基于Llama/Mistral系列）上的实际加速比与准确率；若效果符合预期，优先集成到情报平台中处理论文摘要存储。

---
*导出自 前沿论文情报台*