# OPID: On-Policy Skill Distillation for Agentic Reinforcement Learning
- 来源：huggingface · https://huggingface.co/papers/2606.26790
- 作者：Shuo Yang, Jinyang Wu, Zhengxi Lu, Yuhao Shen, Fan Zhang, Lang Feng, Shuai Zhang, Haoran Luo, Zheng Lian, Zhengqi Wen, Jianhua Tao

> OPID：用同策略轨迹蒸馏技能，提升agent在线RL的样本效率和鲁棒性。

## 概要

OPID提出一种同策略技能蒸馏方法，从已完成的同策略轨迹中提取层级化技能（episode级宏观策略和step级局部决策）。关键设计是critical-first路由机制：在关键决策步使用step级技能，其余fallback到episode级技能。技能注入历史后，旧策略对同样响应重新评分，利用log概率变化产生token级自蒸馏优势，与结果优势合并进行策略优化。在ALFWorld、WebShop和搜索QA任务上，OPID显著优于纯结果RL和现有技能蒸馏基线。

## 对我的影响

1. **直接可用于导购agent**：导购场景中，中间决策（如推荐选项、追问偏好）的引导至关重要，OPID的step级技能蒸馏正好解决现有RL只给最终奖励的弱点。可以考虑在导购agent的在线微调中引入OPID，提升对话中期决策质量。
2. **技能管理思路契合**：其层级化技能表示（episode级流程+step级关键决策）与我关注的SkillOS/技能库方向高度一致，且无需外部记忆，降低了工程成本。可以借鉴其critical-first路由机制，在我的情报平台中用于自动提取和复用操作技能。
3. **下一步行动**：先读代码仓库，重点看技能提取和蒸馏实现细节；然后在导购agent的模拟环境（如自定义多轮对话数据）中复现并对比现有PPO/GRPO基线。

---
*导出自 前沿论文情报台*