Masked Diffusion Language Models are Strong and Steerable Text-Based World Models for Agentic RL

该论文将文本世界建模（text-based world modeling）形式化为一个可引导的状态转移问题，并收集了 239,403 条轨迹数据。作者对比了自回归（AR）LLM 与掩码扩散语言模型（MDLM），发现 MDLM 通过双向锚点感知去噪，在连贯性、基础性和 rollout 多样性上显著优于参数规模 4 倍以上的 LLM，且推理延迟相近。他们提出一个即插即用的 GRPO 训练框架，在三个 OOD 环境（ScienceWorld, ALFWorld, AppWorld）上，使用三种 1.2B-7B 的 agent backbone 实现零样本迁移，绝对性能提升高达 47%。

1. 对导购/Agent 产品的影响：MDLM 作为世界模型，可以模拟用户与导购的交互状态（如对话历史、工具调用结果），从而在 RL 训练中提供更真实的回放数据，避免稀疏奖励下的模式崩溃。特别是其可引导性（steerable），能通过指定工具 schema、预期输出等条件生成多样化的状态轨迹，直接提升 agent 在具体场景下的泛化能力。
2. 改变了我的技术选型判断：之前倾向于用 AR LLM 做世界模型，但该结果表明 MDLM 在可控性上有本质优势。如果项目中需要环境模拟或离线 RL 训练，可以优先考虑 MDLM。不过目前 MDLM 在纯文本生成质量上可能不如同等规模的 AR 模型，需要结合实际任务权衡。
3. 接下来该做什么：先读全文，重点关注其 GRPO 训练框架的细节（尤其是状态检查机制）以及 MDLM 的推理开销与自己场景的匹配度。如果可行，考虑在自己的仿真环境（如电商对话）中复现 MDLM 方案。此外，关注后续是否有人将类似思路用于复杂工具调用场景。