# SimFoundry: Modular and Automated Scene Generation for Policy Learning and Evaluation
- 来源：huggingface · https://huggingface.co/papers/2606.28276
- 作者：Nadun Ranawaka, Josiah Wong, Wei-Lin Pai, Wei-Teng Chu, Tianyuan Dai, Masoud Moghani, Hang Yin, Yunfan Jiang, Wesley Durbano, Brandon Huynh, Yu Fang, Linxi Fan, Danfei Xu, Ruohan Zhang, Li Fei-Fei, Bowen Wen, Ajay Mandlekar, Yuke Zhu

> NVIDIA提出从视频到仿真场景的自动化系统，零样本训练机器人策略。

## 概要

SimFoundry是一个模块化自动化系统，能从单段视频零样本构建真实到仿真的数字孪生场景。它支持场景、物体和任务编辑，自动生成保留功能属性的“数字表亲”变体。实验表明，基于SimFoundry数据训练的策略可零样本迁移到真实世界中的复杂操作任务，且仿真评估与真实性能强相关（平均Pearson相关系数0.911）。使用物体、场景和任务变体训练能使真实成功率分别提升17%、21%和40%。

## 对我的影响

**虽非直接相关，但方法论有借鉴意义**：
- **可复用思路**：SimFoundry的“数字表亲”概念（原始场景的语义保留变体）可用于我的导购/Agent产品中的环境或用户行为模拟，通过生成多样化的仿真对话或交互变体来提升策略的泛化性。
- **技术选型启发**：验证了仿真到真实（sim-to-real）的零样本迁移可行性，让我更坚定在Agent测试中引入仿真环境的价值，尤其是当真实数据稀缺时。
- **下一步**：不读全文（domain不匹配），但会关注NVIDIA在仿真与机器人策略结合的后续工作，尤其是否延伸至人机交互或语言引导的任务规划。

---
*导出自 前沿论文情报台*