地平线×地瓜机器人发布HoloAgent-0:具身AgentOS框架,统一3D空间记忆+技能调度+反馈闭环
【论文解读】HoloAgent-0: A Unified Embodied Agent Framework with 3D Spatial Memory
■ 来源机构:地平线机器人 / D-Robotics
■ 发表日期:2026-06-22
■ 项目链接:https://github.com/HorizonRobotics/HoloAgent
■ 核心要点:
地平线和地瓜机器人联合提出 HoloAgent-0——一个统一的具身智能体框架,核心思路是把语言指令→可执行技能图→3D空间记忆→状态反馈→重新规划串成完整闭环,被业界称为机器人AgentOS。
■ 四大模块:
1. 具身AgentOS:将语言指令拆解为带顺序、前置条件和恢复依赖的技能图,持续循环观察→检索记忆→调度技能→监控结果→更新计划
2. 3D空间记忆:分层多模态场景图(楼层→房间→视角→物体),用SAM2+SigLIP构建开放词表3D语义地图,支持局部增量更新
3. 具身技能层:HoloNavi(导航+主动探索)、HoloBrain(操作类VLA后端:抓取/放置/打开/递交等)、HoloMotion(人形全身运动跟踪/速度控制/姿态恢复)
4. 监控验证:技能执行报告进度/成功/失败模式/置信度/延迟/可恢复性,失败成为下次规划的证据
■ 实验亮点:
- 部署平台:Unitree G1人形、R1人形、轮式双臂移动操作平台
- HM3D-ObjNav模拟基准:成功率82.6%,SPL加权42.8%(对比MSGNav 74.1%/33.4%)
- 真实公寓导航:Top-1@1.0m成功率97.70%,Top-5@1.0m成功率98.90%
- ScanNet语义建图:31.58 mIoU / 45.54 mAcc
- 真实演示:短程动作控制、主动找咖啡机、多机器人协同跳舞、洗衣篮搬运、衣物折叠
■ 关联实体:地平线(hailuo)、地瓜机器人(digua)、宇树(unitree_robot)
■ 关键词:AgentOS、3D空间记忆、技能图、VLA、Sim2Real、具身智能