Agentic Abstention: Do Agents Know When to Stop Instead of Act?

本文提出Agentic Abstention问题，即LLM agent在不确定能否完成目标时应主动停止行动而非无效交互。作者在WebShop、终端和QA共28k+任务上测试了13种LLM-as-agent系统，发现主要挑战不仅是能否中止，更是何时中止：部分agent从不中止，部分在大量无效交互后才中止。进一步发现更大或更强的模型有时在中止时机上表现更差。论文提出CONVOLVE方法，通过蒸馏完整交互轨迹为可复用的停止规则，无需更新模型参数，在WebShop上将Llama-3.3-70B的及时中止召回率从26.7%提升至57.4%。

1. 直接应用于导购agent产品：导购场景经常遇到用户目标不可达成或无合适商品的情况，我们需要agent能尽早中止并给出解释，而非陷入无效循环。本文的评估框架和方法可指导我们设计self-check机制或在prompt中嵌入停止规则。
2. 改变技术选型判断：之前倾向于认为更大/更强的推理模型（如o1）能天然改善agent行为，本文结论显示模型能力越强反而可能在中止时机上表现更差，提示我们需针对中止能力进行专门优化，而非单纯依赖模型scale。
3. 接下来行动：阅读论文全文和代码，尝试将CONVOLVE思路用于我们的导购agent，在特定失败场景（如查询无结果）中设计上下文停止规则；同时关注后续是否有针对agent中止的benchmark或scaffold改进。