Why Multi-Step Tool-Use Reinforcement Learning Collapses and How Supervisory Signals Fix It

该论文研究了LLM在多步工具调用任务上使用强化学习(RL)时出现的性能崩溃问题，并发现崩溃源于控制token的概率尖峰，但底层工具调用能力并未丧失。作者系统比较了多种监督信号（如离策略监督、提示引导、错误示例等）与RL的联合训练方案，发现交错SFT+RL能显著提升稳定性，但格式和内容OOD时性能下降。论文还分析了学习率的影响，并提供了开源代码库Tool-RL-Box。

• 导购/agent产品可用性：当前导购项目涉及多步工具调用（如查库存、比价），RL导致的崩溃风险需警惕。该文提出的交错SFT+RL方案可提升训练稳定性，但需注意OOD退化问题。计划在下一轮agent微调中尝试此策略，并监控格式/内容分布偏移。
• 技术选型判断：此前认为RL是提升agent能力的通用方法，此文揭示在工具调用场景下RL单独训练的脆弱性，需结合监督信号。这会调整我对agent训练策略的优先级，从纯RL转向混合训练。
• 后续行动：读全文并复现关键实验，尤其是控制token尖峰的分析方法；将Tool-RL-Box代码集成到内部训练pipeline，评估对现有agent的改进效果。