# Why Multi-Step Tool-Use Reinforcement Learning Collapses and How Supervisory Signals Fix It
- 来源：huggingface · https://huggingface.co/papers/2606.26027
- 作者：Yupu Hao, Zhuoran Jin, Huanxuan Liao, Kang Liu, Jun Zhao

> 多步工具调用RL崩溃原因及监督信号修复方法

## 概要

该论文研究了LLM在多步工具调用任务上使用强化学习(RL)时出现的性能崩溃问题，并发现崩溃源于控制token的概率尖峰，但底层工具调用能力并未丧失。作者系统比较了多种监督信号（如离策略监督、提示引导、错误示例等）与RL的联合训练方案，发现交错SFT+RL能显著提升稳定性，但格式和内容OOD时性能下降。论文还分析了学习率的影响，并提供了开源代码库Tool-RL-Box。

## 对我的影响

- **导购/agent产品可用性**：当前导购项目涉及多步工具调用（如查库存、比价），RL导致的崩溃风险需警惕。该文提出的交错SFT+RL方案可提升训练稳定性，但需注意OOD退化问题。计划在下一轮agent微调中尝试此策略，并监控格式/内容分布偏移。
- **技术选型判断**：此前认为RL是提升agent能力的通用方法，此文揭示在工具调用场景下RL单独训练的脆弱性，需结合监督信号。这会调整我对agent训练策略的优先级，从纯RL转向混合训练。
- **后续行动**：读全文并复现关键实验，尤其是控制token尖峰的分析方法；将Tool-RL-Box代码集成到内部训练pipeline，评估对现有agent的改进效果。

---
*导出自 前沿论文情报台*