QVal: Cheaply Evaluating Dense Supervision Signals for Long-Horizon LLM Agents

本文提出QVal，一个无需训练即可直接评估密集监督信号质量的基准。它通过检查信号是否与强参考策略的Q值对齐（Q-aligned）来衡量信号质量，从而将信号质量与训练工程混淆因素分离。作者在4个环境、21种方法、6个模型上进行了1200多次实验，发现简单的提示基线一致优于文献中复杂的密集监督方法，且性能按方法家族强烈聚类。QVal易于扩展，便于研究者无需训练即可迭代改进密集监督方法。

1. 用于导购/agent产品：我们的导购agent涉及长周期决策（如多轮对话），中间步骤奖励设计是关键。QVal提供的无训练评估方法可直接用于比较不同中间奖励信号（如置信度、蒸馏相似度等），快速筛选出适合我们场景的方案，而无需每次都跑完整训练流程，节省成本。\n2. 改变判断：以往我会优先尝试复杂的自蒸馏或嵌入相似度方法，但QVal的结果表明简单提示法（如直接让LLM输出分数）可能更有效且更易实现。这促使我在选型时先测试简单基线，再考虑复杂方法。\n3. 下一步行动：计划在导购场景中复现QVal的核心思想，用我们系统的轨迹数据评估几种候选中间奖励信号（如基于LLM的自我评分、基于距离的相似度等），优先测试简单提示法。同时关注该基准后续的扩展（如新环境、新方法），以便持续验证选型。