The Physics of Multi-Turn Long-Horizon Planning: From Pre-training to Post-training via Single- and Multi-Teacher On-Policy Agentic Distillation

该论文在统一可控的多轮环境中，系统地研究了基础模型智能体如何获得、塑造和集成多轮长程规划能力。预训练阶段：明确的世界模型（通过CoT状态转移建模）能带来更强的长程泛化；原子技能不足以组合泛化，需要少量长程数据；次优轨迹因误差累积严重损害性能。后训练阶段：GRPO和OPD在规划模式塑造上存在不同适用区域（必要、有效、不支持），OPD在低质量和长程设置下有效区域更广；用知识不同的教师蒸馏会损害学生已有的世界模型。能力集成：多教师on-policy蒸馏（MOPD）能收敛到共享规划模式，实现跨环境泛化或持续学习，但完全冲突的模式会造成干扰。

• 导购/agent产品：该论文对long-horizon planning的分析直接适用于我们的导购agent（多轮对话中需长程规划）。预训练阶段“少量长程数据+CoT状态转移”提升泛化的结论，提示我们在微调或蒸馏时，应引入少量高质量的多轮交互轨迹（而非海量单轮数据）。后训练阶段OPD优于GRPO的发现，鼓励我们在规划能力塑造上优先尝试on-policy蒸馏方法。
• 技术选型：改变了我对纯强化学习（GRPO）在长程任务中效果的直觉——原来OPD在低质量/长程场景更稳健。接下来我会在我们的agent系统中对比GRPO与on-policy蒸馏在导购长程对话上的效果，并重点关注数据质量（避免次优轨迹）。
• 下一步行动：①精读论文，理解MOPD的实现细节，评估引入多教师蒸馏的可能性（例如用不同风格的导购日志作为教师）；②在我们的情报系统中，将“世界模型构建”作为评估agent长程规划能力的指标；③若实验结果支持，考虑将on-policy蒸馏纳入训练流程。