🔒 只读 demo · 仅可导出MDWord
HUGGINGFACE

Filesystem-Based Memory for LLM Agents: Organization, Evolution, and Sustainability

upvotes:9 · 评分 92 · Sizhe Zhou, Sheldon Yu, Hui Wei, Junda Wu, Siru Ouyang, Yizhu Jiao · 原文链接 ↗

首个系统性验证LLM agent文件系统记忆的组织与检索效率,颠覆默认假设

该研究首次系统探索LLM agents使用文件系统作为长期记忆的可行性与效率。他们形式化了三角色设定:管理agent整合内容、搜索agent回答查询、执行agent提供任务轨迹并提炼技能。通过长对话和具身任务基准,对比多种记忆形状(如分层、原文转储、块检索)和工具集,发现结构化组织仅节省检索成本(约减半),但当前agents无法维持组织,且组织化未提升答案质量。此外,改变工具集对记忆形状的影响与更换模型相当。

  • 对导购agent的启示:当前AI无法从文件系统组织中获得直接答案质量提升,但检索成本降低。可先采用简单文档转储+强检索,而非复杂层级,优先优化搜索工具。\n- 改变判断:过去假设文件系统是默认且有效的,现需视其为设计空间。工具集的选择与模型同等重要,需关注工具对记忆形状的影响。\n- 后续行动:阅读全文,提取实验设置细节,尝试在其公开基准上测试自己的agent,或借鉴其管理/搜索agent的弱掉点,探索增强记忆维护的策略。
归档评分 92 · 当日排名 #1