HUGGINGFACE
Model or Harness? An Interaction-Centric Taxonomy for Localizing Agent Failures
从交互定位Agent失败源,给出可执行的修复分配框架。
概要 / Summary
该论文提出一个以交互为中心的Agent失败分类法,将41种失败模式归因于模型、框架、环境等组件间的交互边,并明确修复责任方。通过公共基准和真实日志验证,用四个前沿模型作为评判者,达到了与人类标签高度一致(Cohen's kappa=0.76)。
对你的影响 / Impact
- 用于导购Agent调试:可以直接采用该分类法,当导购Agent在工具调用或记忆读取出错时,快速定位是模型后训练问题还是编排/harness问题,提升迭代效率。
- 改变技术选型判断:以往遇到Agent失败,常首要考虑换更强模型,现在意识到很多失败源于harness或环境设计,应优先检查工具集成和记忆管理,再决定是否后训练。
- 行动建议:通读全文,提取适合我们导购场景的失败模式子集,并将其整合到内部评测体系中,作为回归测试的标签体系。后续关注作者是否开源分类工具。
归档评分 87 · 当日排名 #3