TRIAGE: Role-Typed Credit Assignment for Agentic Reinforcement Learning

提出TRIAGE，在GRPO的最终结果奖励基础上，增加一个语义角色轴：由结构化判断器将动作片段分为“决定性进展”、“有用探索”、“无进展基础设施”或“倒退”，并用角色条件规则映射为片段级过程奖励。理论证明角色条件信用是角色标签能表达的最优片段级校正项。在ALFWorld、Search-QA、WebShop上，TRIAGE相比GRPO提升了成功率和效率，消融实验表明主要增益来自对成功轨迹中倒退动作的可靠检测。

1. 可用于导购agent产品的训练：导购中agent的搜索、点击、对话等动作也面临类似信用分配问题，TRIAGE的片段级角色信用能防止“偶然成功”强化低效动作，同时不惩罚有用探索。
2. 改变技术判断：之前认为GRPO的最终结果信号足够（工程简单），现在明白加入结构化过程信号（角色标签）能显著提升效率，尤其在有长链条操作的场景。可以尝试用TRIAGE微调现有RL策略，或作为离线评估手段。
3. 下一步行动：读全文理解结构化判断器的实现细节和角色标签定义，评估在自建agent环境中复现/适配的难度；若可行，优先在模拟导购环境中做对照实验。