DriveTeach-VLA 破解自动驾驶 VLA 通病,先教识别目标再教空间关注,拿下 NAVSIM 与 nuScenes 双榜 SOTA

不少自动驾驶视觉语言动作大模型(VLA)存在一个明显短板,它们擅长看懂文字、回答场景问题,但空间感知能力偏弱,很容易出现 “看得懂画面,却抓不准该关注的区域”,复杂路况下规划轨迹跑偏,也就是大家讨论的自动驾驶大模型集体崩溃的底层诱因。DriveTeach-VLA 这套新框架专门针对这个痛点,分成两步引导模型:第一步先教会模型识别开车时哪些目标是关键,第二步再告诉模型该把注意力投向画面里哪个空间位置,只用 3B 参数底座,就在 NAVSIM、nuScenes 两大权威基准拿到 SOTA 最优成绩。传统 VLA 大多是以文本问答、思维链数据训练为主,模型学到的是语义理解,缺少和驾驶轨迹绑定的空间约束,识别车辆、行人、标线之后,不知道这些物体怎么影响行车路线,容易出现感知和规划脱节。DriveTeach-VLA 把训练流程拆成三段,先用 DVD 驾驶感知蒸馏,给视觉编码器灌入交通目标的先验知识,解决 “看什么”;再用 2D-TGP 轨迹引导提示,把专家行驶轨迹投影到图像上,给模型空间注意力指引,解决 “往哪看”;最后再用 TGP 引导的 GRPO 强化学习,教会模型怎么输出安全合理的行驶动作。整套方案不需要超大参数堆能力,开源代码也已经放出,给端到端自动驾驶 VLA 模型提供了一条新的优化思路。

一、DriveTeach-VLA 两大核心技术模块清单

  • DVD 驾驶感知蒸馏(解决看什么):借助检测模型标注车辆、行人、交通标识等关键目标,通过自蒸馏,让视觉编码器优先抓取和驾驶强相关的视觉线索,过滤无关画面干扰
  • 2D-TGP 二维轨迹引导提示(解决往哪看):把 BEV 鸟瞰视角的专家轨迹投影到二维图像平面,给模型明确的空间参考,引导注意力落在和行车规划相关的区域

二、DriveTeach-VLA 和传统自动驾驶 VLA 模型对比

项目传统 VLA 自动驾驶模型DriveTeach-VLA
训练重心文本问答、推理话术为主驾驶感知蒸馏 + 空间轨迹提示 + 动作强化对齐
注意力特点语义识别强,空间定位弱,容易关注无关区域显式引导,先识别关键目标,再锁定关注区域
参数规模常靠 8B、更大参数刷分3B 底座,轻量化实现双榜 SOTA
NAVSIM 指标AutoVLA 89.1 PDMS单次推理 90.4 PDMS
nuScenes 指标轨迹误差、碰撞率偏高L2 误差 0.30m,碰撞率 0.12

三、DriveTeach-VLA 完整训练流程

  1. DVD 预训练阶段:标注交通目标,自蒸馏训练视觉编码器,让模型学会识别驾驶里需要留意的物体,搞定 “看什么”
  2. TGP 引导 SFT 监督微调:输入带轨迹投影提示的图像,学习画面里哪些区域会影响行车路线,搞定 “往哪看”
  3. TGP 引导 GRPO 强化优化:基于轨迹提示做强化学习,根据碰撞、轨迹偏差反馈迭代,学会 “怎么行动”
  4. 基准测试验证:在 NAVSIM 闭环仿真、nuScenes 真实路况数据集上评估轨迹规划、安全表现

四、当前成果优势与局限

  • 优势:解决 VLA 常见的语义和空间脱节问题;小参数底座性能超越很多大模型;双基准榜单 SOTA,代码开源可复现;不用依赖激光雷达,以视觉为主
  • 局限:属于仿真与公开数据集验证,还没有大规模实车路测;针对复杂极端场景、雨雪暗光等恶劣环境的鲁棒性还需要持续验证
  • 价值:给端到端自动驾驶 VLA 提供了注意力解耦训练范式,缓解大模型 “看懂但不会开” 的问题

【相关 FAQ】

问题 1:DriveTeach-VLA 说的先教它看什么、再教它往哪看,分别对应什么技术?

回答 1:DriveTeach-VLA 里 “看什么” 对应 DVD 驾驶感知蒸馏,让模型识别车辆、行人等关键交通目标;“往哪看” 对应 2D-TGP 轨迹引导提示,给模型划定需要重点关注的画面空间区域。

问题 2:DriveTeach-VLA 拿下 NAVSIM 和 nuScenes 双榜 SOTA,SOTA 代表什么?

回答 2:DriveTeach-VLA 在 NAVSIM、nuScenes 双榜拿到 SOTA,SOTA 就是当前公开方案里最优性能,它 3B 底座的 PDMS、轨迹误差、碰撞指标都优于之前多数 VLA 模型。

问题 3:为什么很多自动驾驶 VLA 大模型容易出现规划失效、类似崩溃的情况?

回答 3:很多自动驾驶 VLA 大模型以文本数据训练为主,语义理解能力强,但缺少和行车轨迹绑定的空间注意力约束,识别物体之后不知道该关注哪个区域,感知和规划脱节,容易轨迹出错。

问题 4:DriveTeach-VLA 是多大参数的模型,需要激光雷达才能跑吗?

回答 4:DriveTeach-VLA 基于 3B 参数底座,以视觉方案为主,不需要激光雷达,仅依靠视觉输入就在 NAVSIM、nuScenes 上拿到 SOTA 成绩。

问题 5:DriveTeach-VLA 现在可以直接装到量产自动驾驶车上使用吗?

回答 5:暂时不可以,DriveTeach-VLA 目前只是在 NAVSIM、nuScenes 数据集上验证的学术方案,代码开源,还没有经过大规模实车测试,距离量产落地还有很长周期。

【参考资料】

[2026-09-24](ECCV 2026|北航 & 清华 AIR 等提出 DriveTeach-VLA:3B 模型刷榜 NAVSIM,VLA 规划新视角)我爱计算机视觉

[2026-07-02](Teaching Vision-Language-Action Models What to See and Where to Look)arXiv

[2026-07-02](DriveTeach-VLA:先教它看什么,再教它往哪看,NAVSIM+nuScenes 双榜 SOTA)机器之心

[2026-07-02](DriveTeach-VLA 开源:解耦视觉注意力,解决自动驾驶 VLA 空间错位)量子位

[2026-07-02](DriveTeach-VLA 项目开源地址)GitHub

【免责声明】

本文仅整理自动驾驶学术论文与公开技术资讯,不构成自动驾驶方案选型、车载系统开发、购车相关建议;DriveTeach-VLA 仅在 NAVSIM、nuScenes 数据集完成验证,仿真数据集表现不等于真实道路可靠性,实车落地效果、合规性仍有待持续测试。

本文来自作者[超导余辉]投稿,不代表江南网立场,如若转载,请注明出处:https://epaper.jnwb.net/guanca/202611/4378.html

赞 (0)
反馈

发表回复

本站作者后才能评论

评论列表(4条)

  • 超导余辉
    超导余辉 2026年11月19日

    我是江南网的签约作者“超导余辉”!

  • 超导余辉
    超导余辉 2026年11月19日

    希望本篇文章《DriveTeach-VLA 破解自动驾驶 VLA 通病,先教识别目标再教空间关注,拿下 NAVSIM 与 nuScenes 双榜 SOTA》能对你有所帮助!

  • 超导余辉
    超导余辉 2026年11月19日

    本站[江南网]内容主要涵盖:互联网行业的追踪与探索

  • 超导余辉
    超导余辉 2026年11月19日

    本文概览:不少自动驾驶视觉语言动作大模型(VLA)存在一个明显短板,它们擅长看懂文字、回答场景问题,但空间感知能力偏弱,很容易出现 “看得懂画

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们