一、核心挑战：传统 VLA 模型的动态控制瓶颈

1. 语义 - 动力学映射断层

现有视觉 - 语言 - 动作（VLA）模型多依赖手工设计的低维动作词汇（如末端执行器位姿），无法捕捉人形机器人的高维动态特性。例如，NaVILA 等方法在复杂动作（如坐姿交互）中成功率不足 30%，因缺乏对全身动力学的建模。

2. 仿真 - 真实迁移效率低下

传统方法或依赖大量真实数据训练（如 ExBody2 需数千小时示教），或因仿真环境简化导致动态误差。例如，ManiFM 在真实机器人上的动作变形率超过 40%，难以应对地面摩擦、关节阻尼等真实物理因素。

二、技术框架：双系统分层控制架构

1. LeVERB-VL：高层视觉 - 语言策略（System 2）

CVAE 潜变量建模：通过残差 CVAE 融合视觉（双目相机输入）和语言指令，生成 256 维潜变量向量 z，编码动作语义（如 “走向红色椅子”）。模型采用 SigLiP 预训练视觉编码器，结合对比学习对齐多模态特征。

对抗式分布对齐：引入判别器 \(f_{\psi}\) 强制视觉 - 语言与纯语言轨迹的潜空间一致性，通过梯度反转层（GRL）消除模态差异，提升零样本泛化能力。

2. LeVERB-A：低层动力学控制器（System 1）

DAgger 蒸馏训练：从预训练教师策略（基于 PPO 优化）蒸馏动作模式，输入包括潜变量 z 和本体感受数据（关节角度、速度），输出关节位置命令。采用 Huber 损失增强对异常值的鲁棒性。

动态容差机制：通过指数奖励函数 \(r(x)=\exp(-x/\sigma)\) 动态调整跟踪容差，当误差较小时收紧容差以提升精度，确保高动态动作的稳定性。

三、LeVERB-Bench：仿真 - 真实闭环基准

1. 数据生成 pipeline

运动重定向：将人类动作捕捉数据（如 AMASS）重定向至人形机器人，通过 IsaacSim 渲染 17.1 小时 photorealistic 轨迹，覆盖 10 类 150 + 任务（导航、坐姿、抓取等）。

场景随机化：动态调整物体材质、光照条件、相机视角，生成 100 种 / 轨迹的变体，增强模型泛化能力。例如，在 “坐椅子” 任务中随机化椅子颜色、高度及环境障碍物。

2. 基准任务分布

任务类别轨迹数总时长（秒）平均时长（秒）

视觉导航101465.64.61

目标朝向80372.04.65

坐姿交互2374.43.23

总计154621.74.04

四、实验验证：从仿真到真实的零样本迁移

1. 仿真环境性能

任务成功率：在视觉导航任务中达 80%，整体任务平均成功率 58.5%，较 naive 分层 VLA 方法提升 7.8 倍。例如，“绕过障碍物” 任务中，LeVERB 的避障成功率达 75%，而 NVL 基线仅 10%。

消融实验：移除对抗判别器（ND）导致视觉任务成功率下降至 33%，证明潜空间对齐的必要性；禁用潜变量采样（NS）则使所有任务失败，验证随机化对动态适应的重要性。

2. 真实机器人部署

Unitree G1 验证：在 “坐蓝色椅子”“绕过行人” 等任务中实现零样本迁移，坐姿任务成功率 90%，空间定位误差 < 8cm。例如，当椅子位于机器人侧方时，模型能通过视觉反馈调整转身角度，而传统方法常因定位误差失败。

泛化能力：支持语言变体（如 “rest on the box” 与 “take a seat”）和视觉遮挡场景，证明语义理解与空间推理的鲁棒性。

五、局限与未来方向

1. 当前技术瓶颈

长时规划不足：仅能预测未来数秒动作，无法处理 “穿越复杂迷宫” 等长时任务，因缺乏历史状态记忆机制。

动态物体交互：对快速移动物体（如抛接球）的轨迹预测误差较大，需引入动力学建模模块。

2. 未来改进路径

多模态融合：集成触觉传感器（如 GelSight）与 IMU 数据，提升抓握等精细操作的物理约束建模。

生成式策略升级：引入扩散模型从语言指令直接生成动作序列，将训练时间从 47 分钟缩短至 15 分钟。

六、总结

LeVERB 通过“潜变量语义编码 + 动力学分层控制”的范式，打破了传统 VLA 模型在人形机器人控制中的局限。其核心创新在于将自然语言指令转化为可计算的潜变量约束，并通过双系统架构解耦语义推理与动态控制。实验表明，该框架不仅在仿真中实现高效学习，更首次在真实人形机器人上验证了视觉 - 语言驱动的全身控制零样本迁移，为家庭服务、工业巡检等场景的具身智能应用奠定了基础。 

引用文献：【LeVERB: Humanoid Whole-Body Control with Latent Vision-Language Instruction】

Haoru Xue, Xiaoyu Huang, Dantong Niu, Qiayuan Liao, Thomas Kragerud, Jan Tommy Gravdahl, Xue Bin Peng, Guanya Shi, Trevor Darrell, Koushil Screenath, Shankar Sastry