# Neglected Free Lunch from Post-training: Progress Advantage for LLM Agents
- 来源：huggingface · https://huggingface.co/papers/2606.26080
- 作者：Changdae Oh, Wendi Li, Seongheon Park, Samuel Yeh, Tanwi Mallick, Sharon Li

> RL后训练隐式产生步骤级优势函数，无需额外奖励模型。

## 概要

论文发现RL后训练（如PPO）中，策略模型与参考模型的log概率比恰好等价于最优优势函数，称为"progress advantage"。该方法无需人工标注或蒙特卡洛采样，可直接用于测试时扩展、不确定性量化、失败归因等agent场景。在5个基准和4个模型上，它超越基于置信度的基线，甚至无需任务专用训练就胜过训练好的奖励模型。

## 对我的影响

1. **导购agent产品**：可直接将RL后训练中的progress advantage用于agent的步骤级评估，避免额外训练奖励模型。尤其适合长期交互、反馈稀疏的导购场景，例如判断某步推荐是否推进了购买进程。
2. **情报平台**：将作为筛选论文的新指标——优先关注那些能产生可复用信号（如进度优势）的RL后训练方法，而非纯奖励模型设计。
3. **接下来**：读全文理解数学推导，尝试在自家agent的RL训练中提取progress advantage，并用于测试时动态调整搜索深度（如BeiT等树的探索）。

---
*导出自 前沿论文情报台*