MolmoSpaces:用于机器人导航与操控的大规模开放生态系统

📅 2026-06-30 10:22 huggingface 政策

MolmoSpaces:用于机器人导航与操控的大规模开放生态系统

发表
taesiritaesiri 提交
作者: Yejin Kim, Wilbert Pumacay, Omar Rayyan, Max Argus, Winson Han, Eli VanderBilt, Jordi Salvador, Abhay Deshpande, Rose Hendrix, Snehal Jauhri, Shuo LiuShuo Liu, Nur Muhammad Mahi Shafiullah, Maya Guru, Ainaz Eftekhar, Karen Farley, Donovan Clay, Jiafei Duan, Arjun Guru, Piper Wolters, Alvaro Herrasti, Ying-Chun Lee, Georgia Chalvatzaki, Yuchen Cui, Ali Farhadi, Dieter Fox, Ranjay Krishna

摘要

AI 生成总结
MolmoSpaces 提供了一个开放生态系统,包含多样的室内环境和标注物体,用于跨多个任务和模拟器的大规模机器人策略基准测试。
大规模部署机器人要求对日常情况的“长尾”具有鲁棒性。现实环境所特有的场景布局、物体几何形状和任务规范的无数变化,在现有的机器人基准测试中不仅数量庞大且代表性不足。衡量这种水平的泛化能力需要大规模且多样化的基础设施,这是仅靠物理评估无法提供的。我们推出了 MolmoSpaces,这是一个完全开放的生态系统,旨在支持机器人策略的大规模基准测试。MolmoSpaces 包含超过 23 万个多样化的室内环境,从手工制作的家居场景到程序生成的全屋场景,填充了 13 万个具有丰富标注的物体资产,包括 4.8 万个具有 4200 万个稳定抓取点的可操纵物体。至关重要的是,这些环境与模拟器无关,支持 MuJoCo、Isaac 和 ManiSkill 等主流选项。该生态系统支持全方位的具身任务:静态和移动操纵、导航以及跨整个室内环境的协同感知、规划和交互的长程任务。我们还设计了 MolmoSpaces-Bench,这是一套包含 8 个任务的基准测试,机器人可在其中与我们多样化的场景和标注丰富的物体进行交互。实验表明,MolmoSpaces-Bench 表现出极强的“虚实结合”相关性(R = 0.96, ho = 0.98),确认了更新、更强的零样本策略在我们的基准测试中优于早期版本,并识别出了对提示词措辞、初始关节位置和相机遮挡的关键敏感性。通过 MolmoSpaces 及其开源资产和工具,我们为机器人学习研究中的大规模数据生成、策略训练和基准创建奠定了基础。
查看 arXiv 页面查看 PDF

相关动态

人形机器人与具身智能实景实训专项行动启动__中国政府网 2026-06-30 gov 36氪研究院 | 2026年具身智能产业发展研究报告 2026-06-30 36kr 「一页纸」吃透产业链之:人形机器人,Figure链与特斯拉 ... 2026-06-30 36kr 具身智能2025之问:新物种时代,人形机器人如何长大? 2026-06-30 thepaper 工业和信息化部办公厅 国务院国资委办公厅关于联合开展 ... 2026-06-30 miit 推动人形机器人与具身智能在真实环境常态化部署应用,两 ... 2026-06-30 thepaper