OPID: On-Policy Skill Distillation for Agentic Reinforcement Learning

OPID提出一种同策略技能蒸馏方法，从已完成的同策略轨迹中提取层级化技能（episode级宏观策略和step级局部决策）。关键设计是critical-first路由机制：在关键决策步使用step级技能，其余fallback到episode级技能。技能注入历史后，旧策略对同样响应重新评分，利用log概率变化产生token级自蒸馏优势，与结果优势合并进行策略优化。在ALFWorld、WebShop和搜索QA任务上，OPID显著优于纯结果RL和现有技能蒸馏基线。

1. 直接可用于导购agent：导购场景中，中间决策（如推荐选项、追问偏好）的引导至关重要，OPID的step级技能蒸馏正好解决现有RL只给最终奖励的弱点。可以考虑在导购agent的在线微调中引入OPID，提升对话中期决策质量。
2. 技能管理思路契合：其层级化技能表示（episode级流程+step级关键决策）与我关注的SkillOS/技能库方向高度一致，且无需外部记忆，降低了工程成本。可以借鉴其critical-first路由机制，在我的情报平台中用于自动提取和复用操作技能。
3. 下一步行动：先读代码仓库，重点看技能提取和蒸馏实现细节；然后在导购agent的模拟环境（如自定义多轮对话数据）中复现并对比现有PPO/GRPO基线。