米兰体育MILAN 小米造车商议团队的新败坏：让自动驾驶AI“边想边开”，速率却快得像“只管开”
这项由小米具身智能团队主导开展的商议，以arXiv预印本形式于2026年4月20日公征战布，编号为arXiv:2604.18486v1，商议标的涵盖规划机视觉与自动驾驶推理磋磨。有好奇艳羡好奇艳羡深入了解的读者不错通过该编号在arXiv平台上查阅圆善论文。
**开车时，大脑在作念什么？**
每次你开车拐弯，你的大脑王人在速即运转：前边那辆车在降速吗？路口的红灯快变了吗？左边那辆车会不会转眼并说念？你要综合所有这个词这些信息，才能决定踩油门、踩刹车，如故打标的盘。这个念念考过程看起来很当然，但关于一台自动驾驶的汽车AI来说，想作念到雷同的事情，却要付出开阔的代价——时刻代价。
传统的自动驾驶AI在作念决策时，会先把脑子里的"想法"逐字逐句地写出来，就像一个学生教练时先在草稿纸上列出解题方法，然后再在答题纸上写谜底。这种"先想澄莹从头动"的方式，学术上叫作念"链式推理"（Chain-of-Thought，简称CoT），它的公道是准确，但问题也很彰着：太慢了。一辆车在高速公路上跑，如果AI每次决策王人要先写几十个字的"念念考过程"，那等它想好了，可能仍是追向前边的车了。
恰是为了处置这个矛盾，小米具身智能团队提倡了一个名为OneVL的新框架。它的中枢念念想不错用一句话轮廓：**把"写草稿"的过程压缩成"脑子里一闪而过的念头"，但同期确保这个念头充足机灵、充足准确。** 更神奇的是，OneVL还能在过后"翻译"出我方的推理过程，让东说念主类工程师看懂它在想什么。
---
**一、为什么"想得慢"是个要命的问题**
先来搞澄莹现存方法的窘境。刻下主流的自动驾驶AI，在揣度下一步轨迹之前，会生成一大段翰墨推理，比如"前列左侧车说念有一辆大货车正在以较快速率集合，右侧有行东说念主行将进入斑马线，刻下绿灯还有8秒……要而论之，应当降速并保握车说念"。这段推理很故真谛真谛，对普及驾驶准确性也照实有匡助，但生成它需要破耗十分长的时刻。
商议团队在测试中发现，遴荐圆善翰墨推理的AI（也等于"AR CoT+Answer"这种模式），在NAVSIM这个主流自动驾驶测评平台上，每次决策平均需要6.58秒。而如果平直跳过推理、只输出谜底（"AR Answer"模式），则只需要4.49秒。两者差了快要两秒钟。在真实驾驶场景里，两秒钟不错让一辆车行驶快要60米，足以发生严重事故。
于是有东说念主意象了一个折中决议：既然显式写出推理太慢，那能不可把推理过程"藏起来"，让AI在里面偷偷想一想，不把念念考过程写出来，平直输出谜底？这类方法被称为"隐式推理"或"潜在链式推理"（Latent CoT）。已有几个代表性方法，包括COCONUT、CODI和SIM-CoT，王人在尝试这条路。
但是问题来了：这些隐式推理方法在自动驾驶场景下，阐发反而比什么王人不想的"平直输出谜底"还要差。在NAVSIM测试中，COCONUT得了84.84分，CODI得了83.92分，SIM-CoT得了84.21分，而什么推理王人不作念的平直揣度得了87.47分。换句话说，这些"偷懒的念念考者"不但没帮上忙，还帮了倒忙。
为什么会这么？小米团队给出了一个深切的会诊：这些方法把推理压缩成了语言的压缩，而语言自己就仍是是对真实宇宙的一层抽象。用语言来形容"前列有车"，跟真实看到一辆车比较，丢失了太多空间和动态信息。用压缩后的语言来进行自动驾驶决策，就像是让一个从未开过车的东说念主，仅凭听别东说念主形容路况来限度标的盘——听上去没问题，但细节全丢了。
---
**二、OneVL的中枢念念路：给AI配两个"会语言的翻译官"**
OneVL的设想念念路，不错用一个厨师的比方来默契。一位顶级厨师在烹调时，并不会每次切菜王人停驻来高声背诵菜谱——他的时刻仍是融入了肌肉记念和直观之中。但如果你问他"你刚才为什么要加这一勺盐"，他能坐窝给你一个澄莹的解说。何况，他在烹调过程中，脑子里其实仍是"看见"了这说念菜作念好之后的景色。
OneVL等于要让AI作念到雷同的事情。它给AI配备了两种特殊的"代号牌"：一种叫视觉潜变量（Visual Latent Token），另一种叫语言潜变量（Language Latent Token）。这些代号牌自己不是圆善的翰墨，更像是大脑里一闪而过的"念头编码"——相称紧凑，却包含了丰富的信息。
为了确保这些"念头编码"里简直装了有效的东西，OneVL配备了两个"翻译官"。第一个翻译官是**语言辅助解码器**，它的责任是把语言潜变量里的信息解码成东说念主类能读懂的翰墨推理。第二个翻译官更故真谛，叫作念**视觉辅助解码器**，它的责任是把视觉潜变量里的信息解码成将来0.5秒和1秒之后的路面画面——也等于说，AI需要"脑补"出速即要发生的场景长什么样。
这第二个翻译官，恰是整个设想的精髓场地。因为要揣度出将来的画面，AI就必须真实默契目下的路况：前边那辆车开得有多快？它会不会变说念？路面是不是在弯说念上？所有这个词这些动态的、空间的信息，王人必须被压缩进那些"视觉念头编码"里，不然画面就根底画不出来。这就像是，只好你真实默契了整个数学题的解法，你才能揣度出下一步算式的驱逐——没认识靠蒙。
枢纽在于，这两个翻译官只在教练阶段存在，在推行启航时会被平直丢弃。AI启航后，只需要把那些经过充分教练的"念头编码"平直填入推理历程，然后一步输出驾驶轨迹。这种方式叫作念"预填推理"（Prefill Inference），整个过程的速率和什么王人不想就平直给谜底的方式简直一样快，在NAVSIM测试中仅需4.46秒，与平直揣度的4.49秒简直莫得区别。
---
**三、AI若何学会"想"而不说出来：三阶段教练历程**
默契了OneVL的设想念念路之后，还有一个枢纽问题：若何把它教练出来？这就像培养那位顶级厨师——你不可第一天就让他在比赛级别的压力下完成整个顶级菜肴，而是需要循序渐进地打磨身手。
OneVL的教练分为三个主要阶段，在认真进入这三个阶段之前，还有一个策划方法。
策划方法是让视觉辅助解码器"自学看宇宙"。在这一步，这个解码器透顶寥寂于整个AI系统，只靠刻下帧的画面特征来揣度下一帧画面。它要学会：给我看目下的路况，我来猜接下来路面会形成什么景色。这一步用了约13040个优化方法，批量大小为256。这就像是让一个学生先反复看交通视频，培养他对说念路动态的基本直观，才能在后续教练中更好地合营整个系统。
第零阶段（Stage 0）是主模子热身。在这个阶段，中枢的视觉语言模子（基于Qwen3-VL-4B-Instruct构建）脱手学习把那些"念头编码"镶嵌到推理历程中，同期完成轨迹揣度任务。这一步的目的是让模子成就起基础才能：当你看到那些代号牌时，你要学着用它们来念念考，而不是无视它们。这个阶段教练了2个圆善的数据轮次，学习率为4×10??。
第一阶段（Stage 1）是两个翻译官的专门培训。在这个阶段，主模子被冻结——也等于说，中枢AI暂时住手更新，保握踏实气象。只好两个辅助解码器在教练：语言辅助解码器学着把编码解读成翰墨，视觉辅助解码器学着把编码解读成将来画面。这就像是先把厨师的时刻固定下来，然后专门教练两个纪录员如何把他的操作准确纪录下来，而不会因为纪录过程自己影响厨师的判断。这个阶段教练了1个数据轮次，学习率为1×10??。
第二阶段（Stage 2）是全面缓助微调。三个部分——主模子、语言解码器、视觉解码器——同期更新，互相影响。来自两个解码器的"翻译质料"响应，会倒流回主模子，让主模子进一步优化那些"念头编码"的质料。这个阶段教练了5个数据轮次，学习率为1×10??。恰是在这一阶段，视觉辅助解码器施加的"必须能看见将来"的压力，迫使主模子的视觉潜变量真实编码进了时空动态信息。
商议团队极端测试了"如果跳过这三个阶段，平直端到端缓助教练会若何"。驱逐相称惨烈：PDM评分从88.84分跌到了67.13分，下落了逾越21分。进一步检查教练过程发现，平直缓助教练会导致梯度爆炸，运行梯度范数高达378.22（而正确的三阶段教练保握在0.28），视觉解码器生成的"将来画面"也透顶是胡乱的噪声，与输入画面毫无关系。
---
**四、在四个测试步地上，OneVL的得益单是什么样的**
商议团队在四个不同的自动驾驶测评平台上对OneVL进行了全面测试，这四个平台遮盖了从肤浅城市说念路到顶点特殊场景的粗造情况。
第一个测试平台是NAVSIM，这是一个从真实驾驶数据中提真金不怕火的大范围测评平台，使用PDM评分来综合揣度轨迹安全性、舒罢休和行驶遵守，分数越高越好。OneVL在这里拿到了88.84分，不仅逾越了之前所有这个词使用隐式推理的方法（COCONUT最高84.84分），还逾越了最佳的显式推理方法（88.29分），更逾越了此前文件中最强的两个参考模子：AdaThinkDrive（8B参数范围，86.20分）和LaST-VLA（8B参数范围，87.30分）。而OneVL只用了4B参数，却作念到了更好的得益。
第二个测试平台是ROADWork，米兰体育MILAN这个平台专门测试在说念路施工区域行驶的才能——到处是锥桶、临时标识、不规矩车说念别离，还有衣服荧光背心的工东说念主。这类场景在肤浅测评中简直看不到，但在真实驾驶中却极为常见。使用ADE（平均位移谬误，越低越好）和FDE（很是位移谬误，越低越好）来揣度。OneVL取得了12.49像素的ADE和28.80像素的FDE，而之前的最强专用方法YNet为22.68和80.78，差距相称显贵。
第三个测试平台是Impromptu，它聚集了八个真实驾驶数据集合的"相称规情景"，比如说念路界限不澄莹、临时交通规矩变更、奇怪的拆开物出现等。OneVL的ADE为1.34米、FDE为3.70米，逾越了该平台原始论文中的自带模子（1.60米和4.28米），以及所有这个词同等范围的对比方法。在更精细的时序谬误分析中，OneVL在1秒、2秒、3秒、4秒的揣度上均为最优，平均L2谬误仅为1.01米。
第四个测试平台是APR1，它引入了一种叫作念"因果链小心"（Chain of Causation）的推理标注，条款AI不仅仅揣度轨迹，还要默契决策背后的因果逻辑。OneVL在这里取得了2.62米的ADE，优于对比基准Cosmos-Reason（2.86米，参数目10B，还使用了稀奇的强化学习教练）。在FDE目的上，OneVL为7.53米，略逊于Cosmos-Reason的7.42米，这个微细差距商议团队解说是因为Cosmos-Reason稀奇使用了强化学习来优化，属于不同量级的过问。
---
**五、AI的"脑补画面"长什么样，推理翰墨又质料如何**
OneVL的一个极端之处在于，它能在推理收尾后让两个辅助解码器输出不错被东说念主类默契的内容，从而完毕可解说性。
在视觉层面，商议团队展示了多个测试场景下，视觉辅助解码器生成的"将来画面"。以NAVSIM的一个弯说念场景为例，刻下画面露馅车说念右侧周边不可行驶区域，需要向左微调标的。视觉解码器在0.5秒和1秒青年景的画面，诚挚地呈现了车辆向左偏移后路面应有的视角变化，说念路两侧的建筑物和树木位置关系也适宜物理法例，诠释AI照实"看见了"行将发生的事情，而不是在胡乱生成。
比较之下，在莫得进行三阶段教练的对照组中，疏浚输入的将来帧揣度透顶是与场景绝不辩论的图像噪声，诠释模子莫得真实学会动态场景建模，而是走了捷径，记着了某些常见画面的名义特征。
在语言层面，商议团队对NAVSIM测试集的500个样本进行了翰墨推理质料的量化评估，设想了三个目的。第一个是"元行为准确率"：每段推理终末会得出一个高层决策，如"保握速率并看护车说念"，这个决策的揣度准确率越高越好。第二个是"语义相似度评分"（STS Score），用一个专门用来判断两段话是否真谛相近的AI模子来打分。第三个是"AI裁判评分"（LLM-as-Judge Score），让谷歌的Gemini模子饰演裁判，证据场景图像、设施谜底推理翰墨和模子输出推理翰墨，从感知准确性、动态揣度、决策合感性、语言指引性四个维度打分。
在这三项评估中，OneVL的语言辅助解码器在元行为准确率上达到了71.00，逾越SIM-CoT的67.20；在语义相似度上达到78.26，在AI裁判评分上达到79.13，均高于SIM-CoT的76.25和78.73。比较之下，圆善显式推理的方法（AR CoT+Answer）仍然保握最高，三项分别为73.20、79.75和81.86，但这是以慢得多的速率为代价的。
---
**六、视觉监督为什么比语言监督更紧迫：一个故真谛的发现**
消融实验（也等于"按序去掉某个零件，看性能如何变化"的测试）揭示了一个很故真谛的法例。
去掉视觉辅助解码器后，PDM评分从88.84跌到87.97，下落了0.87分。去掉语言辅助解码器后，PDM评分从88.84跌到88.53，下落了0.31分。两者王人有孝顺，但视觉监督的孝顺快如果语言监督的三倍。
原因在于，自动驾驶推行上是一个空间揣度任务，而不是一个语言理罢职务。"前列有车"这句话和真实"看到"前列的车，关于磋磨轨迹来说，提供的信息密度透顶不在一个量级上。视觉解码器条款AI揣度出将来场景的像素级阐发，这意味着潜变量必须编码车辆的位置、速率、标的，说念路的几何形式，以及它们随时刻的变化关系——任何信息的缺失王人会导致"画面不合"的平直响应。语言推理则更多是提供语义层面的锚点，让模子知说念我方在干什么，但无法替代空间动态信息。
这个发现对整个隐式推理领域的真谛在于，当你试图把一个需要多模态默契的任务压缩到一个紧凑的默示空间里，阿谁压缩主义自己的质料决定了最终性能的上限。语言仅仅宇宙的影子，视觉宇宙模子才是更接近因果推行的压缩主义。
---
**七、面向真实部署：用极小的代价换极快的速率**
商议团队还探索了一个更激进的部署决议：在整个系统上稀奇挂载一个轻量级的MLP（多层感知机）揣度头，平直从终末一个潜变量的荫藏气象追念出轨迹坐标，透顶绕过自追念翰墨生成。
这个决议的延长只好0.24秒，折合成频率约为4.16Hz，达到了车载及时系统的基本条款。代价是PDM评分从88.84降到了86.83，下落了约2分。但这个86.83分的得益，仍然逾越了LaST-VLA的87.30分？不，等一下——86.83照实低于LaST-VLA的87.30，但LaST-VLA是一个8B参数的模子，使用的是圆善自追念推理，延长期高于0.24秒。在推行部署中，一个以4Hz握续踏实决策的轻量模子，频频比一个偶尔给出高质料谜底但延长不可汲取的重型模子更有实用价值。
这也意味着OneVL推行上提供了两种部署选项：一种是保留自追念轨迹生成、取得最高精度的圆善模式（4.46秒，88.84分）；另一种是接上MLP揣度头、就义约2分精度换取18倍速率普及的超轻量模式（0.24秒，86.83分）。工程师不错证据推行车辆的规划资源和任务条款纯真弃取。
---
**八、四个测试平台用到的数据和标注是若何来的**
OneVL在教练时需要三类监督信号：轨迹标注（来自各数据集自己）、翰墨推理标注（需要稀奇构建）和将来帧视觉标注（通过IBQ视觉分词器离线生成）。
翰墨推理标注的构建方式因数据集而异。在NAVSIM上，商议团队平直复用了AdaThinkDrive发布的CoT标注，这些标注遮盖了车说念识别、枢纽对象分析（如车辆、行东说念主）和高层驾驶意图的形容。在ROADWork上，团队使用里面征战的活水线，专门针对施工区域场景进行了标注，重心包括危境物识别（锥桶、护栏、临时标识）、非设施车说念解读和速率/侧向捣毁决策的情理。在Impromptu上，基于原数据集已有的问答对，添加了明确的决策标签和根因分析。在APR1上，由于官方未发布CoT标注，商议团队使用公开的APR1-10B模子检查点，对全部教练数据生成了因果链标注，同期对密集的64点轨迹进行了启发式降采样，保留8个枢纽点以适配自追念生成花样。
视觉标注则更为自动化：使用Emu3.5的IBQ分词器，将每个教练样本的将来两帧图像（+0.5s和+1.0s）离线编码为破碎视觉词汇序列，码本大小为131072。这个过程透顶不需要稀奇的推理时刻，事先规划完毕后平直行为教练标签使用。
---
归根结底，OneVL处置的问题不错用一句大口语来说澄莹：它让自动驾驶AI第一次完毕了"念念考的速率和不念念考一样快，但成果比念念考更好"。以往的决议要么快但不准，要么准但太慢，要么试图把念念考压缩得很小但反而更差。OneVL用"必须能画出将来"这个硬拘谨，将就压缩出来的"念头"里装满了真实有效的时空动态信息，然后在推理时平直用这些念头，两个翻译官静偷偷地隐藏，整个决策过程快得像闪念。
这项商议对肤浅东说念主的糊口意味着，咱们离那辆真实能安全、指引、及时支吾复杂路况的自动驾驶汽车，又近了一步。何况这一步并不是靠堆砌更多的规划资源完毕的，而是靠一个更机灵的设想念念路。
有好奇艳羡好奇艳羡深入了解技术细节的读者，不错通过arXiv编号2604.18486在arXiv.org上查阅圆善论文，所有这个词实验代码和演示页面也可通过论文中提供的名堂主页获取。
---
Q&A
Q1：OneVL的推理速率为什么能和"不推理"一样快？
A：OneVL在推理时，会把经过教练的"潜变量代号牌"平直填入输入教导词中（也等于预填方式），这些代号牌在预处理阶段被一次性并行处理，不需要像生成翰墨那样逐字逐句恭候。是以整个过程对延长简直莫得稀奇影响，测试露馅与透顶不推理的平直揣度方法收支不逾越0.03秒。
Q2：OneVL的视觉辅助解码器生成的将来画面，是真实的视频揣度吗？
A：不透顶是传统真谛上的视频揣度。视觉辅助解码器揣度的是将来0.5秒和1秒时的场景画面，这些画面以破碎视觉词汇序列的形式默示，通过IBQ分词器编码。它的主要目的不是生成视频供东说念主不雅看，而是行为教练阶段的监督信号，将就视觉潜变量编码充足丰富的时空动态信息。推理时解码器会被丢弃，生成视觉解说是一个可选的"过后解说"功能。
Q3：OneVL和肤浅自动驾驶AI比较，最推行的区别是什么？
A：最推行的区别在于OneVL引入了"宇宙模子监督"。肤浅隐式推理AI试图压缩语言形容，而语言是对宇宙的二次抽象米兰体育MILAN，丢失了无数空间动态信息。OneVL通过条款AI草率揣度出将来的视觉画面，掌握其压缩出的"念头"真实默契物理宇宙的因果动态，而不仅仅记着语言形容的名义法例。这是性能普及的根原着手。
博亚体育中国官网在线入口