Neglected Free Lunch from Post-training: Progress Advantage for LLM Agents

论文发现RL后训练（如PPO）中，策略模型与参考模型的log概率比恰好等价于最优优势函数，称为"progress advantage"。该方法无需人工标注或蒙特卡洛采样，可直接用于测试时扩展、不确定性量化、失败归因等agent场景。在5个基准和4个模型上，它超越基于置信度的基线，甚至无需任务专用训练就胜过训练好的奖励模型。

1. 导购agent产品：可直接将RL后训练中的progress advantage用于agent的步骤级评估，避免额外训练奖励模型。尤其适合长期交互、反馈稀疏的导购场景，例如判断某步推荐是否推进了购买进程。
2. 情报平台：将作为筛选论文的新指标——优先关注那些能产生可复用信号（如进度优势）的RL后训练方法，而非纯奖励模型设计。
3. 接下来：读全文理解数学推导，尝试在自家agent的RL训练中提取progress advantage，并用于测试时动态调整搜索深度（如BeiT等树的探索）。