# The Physics of Multi-Turn Long-Horizon Planning: From Pre-training to Post-training via Single- and Multi-Teacher On-Policy Agentic Distillation
- 来源：huggingface · https://huggingface.co/papers/2607.24720
- 作者：Tianyi Men, Zhuoran Jin, Kang Liu, Jun Zhao

> 用可控环境系统研究多轮长程规划的物理（预训练→后训练）

## 概要

该论文在统一可控的多轮环境中，系统地研究了基础模型智能体如何获得、塑造和集成多轮长程规划能力。预训练阶段：明确的世界模型（通过CoT状态转移建模）能带来更强的长程泛化；原子技能不足以组合泛化，需要少量长程数据；次优轨迹因误差累积严重损害性能。后训练阶段：GRPO和OPD在规划模式塑造上存在不同适用区域（必要、有效、不支持），OPD在低质量和长程设置下有效区域更广；用知识不同的教师蒸馏会损害学生已有的世界模型。能力集成：多教师on-policy蒸馏（MOPD）能收敛到共享规划模式，实现跨环境泛化或持续学习，但完全冲突的模式会造成干扰。

## 对我的影响

- **导购/agent产品**：该论文对long-horizon planning的分析直接适用于我们的导购agent（多轮对话中需长程规划）。预训练阶段“少量长程数据+CoT状态转移”提升泛化的结论，提示我们在微调或蒸馏时，应引入少量高质量的多轮交互轨迹（而非海量单轮数据）。后训练阶段OPD优于GRPO的发现，鼓励我们在规划能力塑造上优先尝试on-policy蒸馏方法。
- **技术选型**：改变了我对纯强化学习（GRPO）在长程任务中效果的直觉——原来OPD在低质量/长程场景更稳健。接下来我会在我们的agent系统中对比GRPO与on-policy蒸馏在导购长程对话上的效果，并重点关注数据质量（避免次优轨迹）。
- **下一步行动**：①精读论文，理解MOPD的实现细节，评估引入多教师蒸馏的可能性（例如用不同风格的导购日志作为教师）；②在我们的情报系统中，将“世界模型构建”作为评估agent长程规划能力的指标；③若实验结果支持，考虑将on-policy蒸馏纳入训练流程。

---
*导出自 前沿论文情报台*