VLA大模型：从"看和说"到"看、说、做"
VLA（Vision-Language-Action）模型是具身智能的"大脑"，它将视觉感知、自然语言理解和物理动作生成统一在一个端到端的深度神经网络中。如果说LLM让机器学会了"思考"，VLA则让机器学会了"动手"。
核心架构
VLA模型通常包含三个关键模块：
- 视觉编码器（Vision Encoder）：基于ViT（Vision Transformer）架构，将RGB图像/深度图/点云转化为视觉token序列
- 语言理解层（Language Backbone）：通常基于预训练LLM（如PaLM-E、Gemini），将自然语言指令转化为语义表示
- 动作解码器（Action Decoder）：输出机器人动作序列，包括末端位姿、关节角度、夹爪开合等连续或离散动作
主流VLA模型对比（2025-2026）
| 模型 | 机构 | 参数量 | 动作空间 | 关键特性 |
|---|---|---|---|---|
| RT-2 | Google DeepMind | 55B | 6-DoF末端位姿 | Web+机器人数据联合训练 |
| π0.5 | Physical Intelligence | 3B | 全关节控制 | 开源、集成LeRobot、多机器人泛化 |
| GR00T N1.5 | NVIDIA | ~8B | 全身控制 | 仿真+真实数据、Omniverse加持 |
| Octo | UC Berkeley | 27M | 7-DoF末端 | 开源、跨机器人零样本泛化 |
关键挑战
- 实时性：工业场景要求<200ms感知-决策-执行闭环，大模型推理延迟是瓶颈
- 内存带宽：端侧部署受内存带宽而非峰值算力约束，55B模型无法直接跑在Jetson上
- 数据鸿沟：机器人动作数据远少于图文数据，业内估计缺口超过99%
- 安全对齐：语言模型的幻觉在物理世界可能造成真实伤害
参考：Google DeepMind RT-2论文、Physical Intelligence π0.5技术报告、NVIDIA GR00T白皮书