SimFoundry: Modular and Automated Scene Generation for Policy Learning and Evaluation

SimFoundry是一个模块化自动化系统，能从单段视频零样本构建真实到仿真的数字孪生场景。它支持场景、物体和任务编辑，自动生成保留功能属性的“数字表亲”变体。实验表明，基于SimFoundry数据训练的策略可零样本迁移到真实世界中的复杂操作任务，且仿真评估与真实性能强相关（平均Pearson相关系数0.911）。使用物体、场景和任务变体训练能使真实成功率分别提升17%、21%和40%。

虽非直接相关，但方法论有借鉴意义：

• 可复用思路：SimFoundry的“数字表亲”概念（原始场景的语义保留变体）可用于我的导购/Agent产品中的环境或用户行为模拟，通过生成多样化的仿真对话或交互变体来提升策略的泛化性。
• 技术选型启发：验证了仿真到真实（sim-to-real）的零样本迁移可行性，让我更坚定在Agent测试中引入仿真环境的价值，尤其是当真实数据稀缺时。
• 下一步：不读全文（domain不匹配），但会关注NVIDIA在仿真与机器人策略结合的后续工作，尤其是否延伸至人机交互或语言引导的任务规划。