Can Agents Generalize to the Open World? Unveiling the Fragility of Static Training in Tool Use

本文提出了OpenAgent问题设置，旨在模拟真实世界中查询、工具集、交互等的分布偏移。作者构建了分层沙盒环境（感知、交互、推理、内化四个层级），系统评估了SFT和RL训练代理在开放环境下的性能退化。实验表明，两者在面临环境变化时均出现不同程度下降。基于此，提出了Perturbation-Augmented Fine-Tuning（扰动增强微调），一种简单的干预策略，可提升代理在动态环境中的鲁棒性。

1. 导购/agent产品：直接相关。导购场景中用户查询和工具集（如商品数据库）动态变化，本文的诊断方法可用来评估我们agent的泛化能力。特别是分层测试框架可以借鉴，用于发现产品中薄弱环节。
2. 技术选型：之前更关注SFT后agent的静态表现，本文提示需要在训练中加入扰动来模拟环境变化，否则实际部署时容易失效。因此在下个版本中，我们应考虑在微调阶段引入类似的扰动策略。
3. 下一步行动：阅读全文，特别是实验部分和扰动增强微调的细节。并思考如何将分层测试（感知、交互、推理、内化）迁移到导购agent的评估中。开源代码发布后尝试复现并适配自己的场景。