你有没有想过这样一个场景一个机器人明明能准确说出这是苹果这是杯子这是桌子却在伸手去拿苹果的时候,一次又一次地抓向了空气这听起来很荒谬。既然它认识这些东西为什么做不到但2026年这篇来自Simple AI团队的研究,恰恰揪住了这个看似不可能的矛盾,并且给出了一个让人意外的答案认识东西和用得上这些认识,是两件完全不同的事。机器人怎么看世界先说说背景。现在训练机器人做抓取、推动这类操作任务一个很流行的思路叫做世界模型。世界模型一种AI系统它不直接在像素级别理解世界而是把摄像头拍到的画面压缩成一串数字叫做潜在向量然后在这个压缩后的数字空间里预测如果我这样做接下来会发生什么。打个比方这就像你闭着眼睛也能在自己家里走动。你的大脑里存的不是家里每一个角落的照片,而是一张简化的心理地图,墙在哪儿、桌子在哪儿、门在哪儿。你靠着这张地图规划路线,不需要每一步都睁眼确认。世界模型干的就是类似的事,它把真实世界压缩成一张心理地图,然后在这张地图上做规划。具体到这篇论文用的架构叫做JEPA。JEPA联合嵌入预测架构一种不需要还原原始画面、只在压缩后的抽象空间里做预测的自监督学习方法由Meta的Yann LeCun团队提出。论文里用的具体世界模型叫LeWM它靠一个视觉Transformer把画面变成一个192维的向量再用一个预测器猜接下来会发生什么。整个训练过程用了一个叫SIGReg的正则化技巧。SIGReg稀疏各向同性高斯正则化一种训练技巧目的是防止所有输入都被压缩成几乎一样的向量这种情况叫表征坍缩做法是逼着这些向量的整体分布看起来像一个标准的高斯分布。有了这个心理地图之后机器人要怎么决定下一步动作呢答案是一种叫做MPC的规划方法。MPC模型预测控制一种决策方法机器人先在脑子里也就是世界模型里试跑很多套可能的动作方案挑出预测效果最好的那一套执行第一步然后重新规划。具体执行时用的搜索算法叫CEM。CEM交叉熵方法一种从一堆随机候选方案里逐步筛选出表现最好的那批再围着这批表现好的方案继续采样、继续筛选像滚雪球一样收敛到最优解的搜索算法。那么问题来了,机器人怎么知道哪套动作方案效果好?论文里说,通常做法极其简单粗暴,直接算这套动作执行完之后,预测出来的最终状态的向量,和目标状态的向量之间的欧几里得距离。距离越小说明这套动作越接近目标分数就越高。这个设计乍一看很聪明因为它完全不需要人工设计一个奖励函数。你不用告诉机器人抓住苹果加10分,碰倒杯子扣5分,你只需要给它看一张目标画面让它自己往那个方向靠近。认得出和排得对是两件事但这篇论文的核心发现是这套欧几里得距离当裁判的做法藏着一个致命的隐患。研究者们观察到一个非常诡异的现象只对训练目标做很小的调整机器人在真实环境里完成任务的成功率会发生巨大甚至反直觉的变化但如果你用探针去检测这个心理地图里到底存了什么信息比如机器人的位置、动作、奖励、价值,这些探针检测出来的结果几乎一模一样。也就是说,心理地图存的信息内容没变,但机器人的行为表现却天差地别。这就是整篇论文最关键的一个概念区分,论文管这两个东西叫信息充分性和决策度量对齐。信息充分性指的是从这个压缩后的向量里能不能用一个简单的探针比如一个线性回归器准确地解码出任务相关的信息比如物体的位置、动作是什么。决策度量对齐指的是这个向量空间里计算出来的距离是否能正确地给不同的候选动作方案排序让真实世界里效果更好的方案在这个距离尺度下也显得更近、更好。论文给出了一个特别形象的例子来解释这两者为什么可能脱节。假设有五个候选动作方案围在目标点周围如果这个向量空间的几何结构是对的那么真实世界里离目标更近的方案在这个压缩空间里也应该显得更近这时候两种排序完全一致。但如果几何结构是扭曲的呢可能出现这种情况候选方案1在真实世界里其实效果最好最接近目标但在压缩空间里却被放得离目标很远而候选方案3效果明明比较差却被压缩空间错误地放在了离目标很近的位置。这时候,即便你还是能从这个向量里精确解码出这是候选方案1这是候选方案3信息充分性没问题但当机器人拿欧几里得距离去排序、去选择最优方案时它会挑错它会觉得候选方案3更值得执行尽管候选方案3实际上更烂。这就像什么呢想象你去买房子中介给你一份小区地图地图上准确标出了每栋楼的编号、朝向、楼层这些信息全部正确,你拿这份地图去问3号楼在哪个方向绝对能问出正确答案。但如果这份地图上标注距离的比例尺是错的实际上离地铁站5公里的房子在地图上却被画得比实际只有1公里远的房子更近那么你靠着哪个看起来离地铁站近来做购房决策,就会一直选错。地图上的信息没有错,但地图的度量标准,坏了。如果你从不检查这个比例尺是否准确你会一直以为自己选对了房子直到真正搬进去才发现每天通勤多花四十分钟。这正是这篇论文想要揪出来的隐患一个AI系统可能什么都知道但知道的东西排不对顺序而排序恰恰是决策所依赖的一切。怎么把这个隐患揪出来既然发现了问题,论文接下来要做的是把这个模糊的感觉不对变成可以测量的数字。他们提出了两个诊断指标。第一个叫做Plan-Real Spearman。Plan-Real Spearman从训练数据里随机挑选一批起点-目标配对针对每一对随机生成64套候选动作方案分别用压缩空间里的距离和真实环境里的实际距离给这64套方案打分排名然后计算这两种排名之间的斯皮尔曼等级相关系数最后对30组配对取平均。斯皮尔曼相关系数的取值范围是从负1到正1。正1代表两种排序完全一致0代表两种排序毫无关联负1代表两种排序完全反着来。第二个叫CEM-stage Spearman它比第一个更狡猾一点。CEM在实际搜索过程中不是永远随机撒网的它会随着搜索的推进逐渐把候选方案聚拢到看起来不错的区域附近。研究者们抓住了CEM搜索的三个阶段,刚开始随机撒网的阶段、搜索到一半的中期阶段、以及最终收敛出来的精英候选方案阶段,分别测这三个阶段里两种排序的一致程度。为什么要这么麻烦地分三阶段测因为一个压缩空间在随便撒网时排序还挺准不代表它在候选方案已经很接近、彼此差异很微小时还能分得清谁更好。这就像你让一群人评价100个明显有差距的选手大家的判断可能都差不多准但当你让他们去评价10个实力极其接近的顶尖选手时评判标准里任何微小的偏差都会被放大导致排序完全乱套。CEM恰恰就是不断在把候选方案往实力接近的方向收拢所以越到搜索后期排序准确性的考验就越严苛。论文做了一个理论分析,试图搞清楚到底什么因素在控制这个排序准确性。他们提出了两个假设作为分析基础。第一个假设叫终端推演一致性,意思是世界模型预测出来的最终状态,跟真的把这套动作执行完再拿去编码得到的结果,误差不能太大。第二个假设叫编码器双Lipschitz性质,意思是这个把真实状态压缩成向量的编码器,不能太扭曲,真实世界里两个状态离得越远压缩后的向量距离也应该跟着按比例变远,不能一会儿夸张一会儿压缩。基于这两个假设论文推出了一个数学结论:压缩空间里的距离会被夹在真实距离的两个界限之间,一个下界和一个上界中间那道缝的宽度由编码器的扭曲程度和终端推演误差共同决定。缝越窄说明压缩空间越忠实地反映了真实世界的排序缝越宽排序出错的风险就越大。论文进一步指出只要两个候选方案在真实世界里的差距论文管这个叫候选间隔足够大超过了这道缝的宽度那么压缩空间里的排序就一定不会出错。但反过来说如果候选方案彼此挨得特别近正是CEM搜索到后期精英候选方案的典型状态这个间隔就会缩小排序出错的概率就会飙升。这解释了为什么CEM越到后期排序准确性越难保证,不是因为算法变差了而是因为候选方案本身越来越像任何度量上的瑕疵都会被放大成排序错误。SIGReg 是保命符但保的不是这条命论文做的第一个实验特别有意思它先验证了一件常识如果整个表征坍缩了会发生什么。他们把SIGReg这个正则化项直接从训练目标里去掉,做了个叫No-SIGReg的对照组。结果整个压缩空间的区分度直接崩了。原来一批随机候选方案的最大成本和最小成本之间能差3到30倍去掉SIGReg之后这个比值直接萎缩到大约1.005倍。这意味着什么意味着不管你给机器人看哪一套动作方案它算出来的成本几乎都长得一样。这就好比一个尺子原本1厘米到30厘米都能分辨清楚现在整根尺子上的刻度全挤在了1.005厘米这么窄的一个范围里你压根没法用它量出任何有意义的差别。对应的后果非常直接在PushT任务一个推动物块到目标位置的模拟任务上成功率从49.3%暴跌到2.0%TwoRoom任务一个双房间导航任务从98.0%跌到41.3%Reacher任务一个机械臂到达指定位置的经典控制任务从82.0%跌到10.7%。与此同时Plan-Real Spearman也几乎归零。这个实验证明了一件事SIGReg确实很重要它防住了表征坍缩这个最基本的灾难。但这只是保住了底线不代表它解决了论文真正关心的问题。因为紧接着,论文做了第二个更精细的实验,专门比较没有坍缩、但训练目标略有不同的几个变体。这一次探针检测到的信息量几乎完全一样state状态探针、action动作探针、goal-action目标导向动作探针的准确率差异都不超过0.03但Plan-Real Spearman却从基线LeWM的0.280一路涨到0.410到0.420,在线成功率也从49.3%跳到92.7%,足足43个百分点的差距。这个对比才是整篇论文的灵魂所在:同样聪明的大脑信息量一样因为思考问题的几何习惯不同行为表现能差出天壤之别。给世界模型加两个外挂它突然就变聪明了发现了问题之后论文提出了具体的解决方案叫DA-LeWM全称是决策对齐的LeWM。DA-LeWM的做法其实很朴素在原来LeWM的训练目标基础上多加两个辅助的监督信号,一个叫逆动力学头一个叫目标导向动作头。逆动力学头一个小型神经网络两层MLP输入是前后两个时刻的压缩向量任务是猜出这两个时刻之间机器人到底执行了什么动作。目标导向动作头另一个小型神经网络输入是当前状态的向量和目标状态的向量任务是猜出要从当前状态走到目标状态应该执行什么动作这个监督信号来自人类演示数据。这两个辅助头训练完之后就被扔掉了实际部署时机器人还是只靠原来那套欧几里得距离做规划,论文特意强调了这一点。也就是说DA-LeWM并没有改变机器人在线运行时的计算量或者决策方式它改变的是训练阶段逼出来的表征几何结构。为什么加一个猜动作的任务能改善几何结构论文给出的解释是这样的如果你逼着一个向量空间里两个时间点之间的位移必须能反推出发生了什么动作那这个位移就不能是随便乱来的它必须和动作的方向、幅度产生某种系统性的对应关系。这种对应关系恰恰是排序准确性所需要的那种规矩。论文测了一个具体的现象来验证这个机制他们统计了压缩空间里位移的大小和实际动作的大小之间的全局相关性。在原始LeWM里这个相关性是-0.03基本等于没关系。加了逆动力学监督之后这个相关性直接跳到0.38再加上目标导向动作监督也就是完整的DA-LeWM之后涨到0.43。而如果去掉SIGReg这个相关性反而会变成-0.13进一步恶化。这个实验特别有说服力因为它直接在位移-动作这个具体维度上展示了辅助监督信号是怎么一步步把混乱的几何结构捋直的。这里可以做一个类比。假设你在训练一个新员工写工作周报如果你只告诉他把这周做的事情写下来他很可能写得又长又乱重点和细枝末节混在一起你根本看不出他这周到底完成了多少实质工作。但如果你额外要求他每写完一段必须能让别人反推出你具体用了多少工时、产出了什么成果这个额外的约束会逼着他把叙述结构变得更有规律,重要的事情会自然地占据更显眼的位置工时和成果之间会形成清晰的对应关系。逆动力学监督干的就是类似的事它逼着状态变化的记录方式必须能反推出动作是什么这个反推的压力会自然地把记录方式捋顺。如果没有这个额外的要求周报也就是压缩空间里的表征可能内容一样详实但排列方式完全不讲逻辑你没法从中快速判断哪件事更重要。数字说话DA-LeWM到底强在哪论文在四个环境上做了系统的对比PushT推动物块、Reacher机械臂到达、Cube接触密集的立方体操作来自OGBench基准、TwoRoom视觉导航。在匹配的一轮训练预算下短程对比结果显示DA-LeWM在PushT上达到92.7%的成功率远超基线LeWM的49.3%也超过了只加逆动力学头的Inverse-only变体64.0%。在Cube任务上DA-LeWM达到73.3%同样超过LeWM的62.7%。Reacher任务上差距不大DA-LeWM的84.0%和LeWM的82.0%基本在同一水平线上,论文对此的解释是Reacher本身的基线排序一致性就已经很高Plan-Real Spearman高达0.504提升空间本来就有限。如果把训练预算拉长到十个训练周期结果更能说明问题。DA-LeWM不仅最终成功率更高而且进入高成功率区间的速度明显更快。论文报告了四个环境下DA-LeWM相对LeWM的平均提升幅度PushT上平均高出11.8个百分点Reacher上平均高出4.7个百分点Cube上平均高出8.6个百分点TwoRoom上平均高出9.5个百分点。这说明DA-LeWM带来的不是某个偶然幸运的检查点而是持续贯穿整个训练过程的加速效应。最后论文把DA-LeWM拿去跟几个已发表的公开基线方法对比包括PLDM和DINO-WM。在PushT上DA-LeWM拿到98.7%排名第一Reacher上87.3%同样排名第一Cube上80.7%超过PLDM的65%比DINO-WM的86%略低5.3个百分点TwoRoom上96.0%比PLDM的97%低1个百分点比DINO-WM的100%低4个百分点但比原始LeWM的87%高出9个百分点。综合来看DA-LeWM在四个环境里没有一次是垫底的多数情况下名列前茅同时相比自己的直接基线LeWM有稳定且显著的提升。这套方法有没有边界论文非常坦诚地讨论了自己的局限性这一点值得单独说一下。首先Cube任务上根本没法算出有意义的Plan-Real Spearman数值。原因是这个任务接触密集随机生成的候选动作方案往往连物体都碰不到导致大量候选方案的真实成本完全相同论文提到有的64个候选里63个成本完全一样这种情况下斯皮尔曼相关系数根本没法算或者算出来的数值统计意义很弱。这提醒我们这套诊断工具本身也有适用边界在接触稀疏、大量候选方案什么都没发生的场景里失效。其次论文测试了辅助监督权重的敏感性。目标导向动作头的权重β设为0.1时效果最好PushT成功率92.7%权重调到0.3时反而略降到89.3%权重调得太小0.03时更差只有63.3%。有意思的是在Reacher任务上β0.3反而让成功率从84.0%降到78.0%比基线LeWM的82.0%还低。这说明辅助监督不是越多越好存在一个跨环境都相对稳健的折中点论文最终选择β0.1作为跨环境的默认值。第三论文里提到了一个探索性的all-heads检查点除了逆动力学头和目标导向动作头之外还加了奖励代理头和价值代理头。但论文非常诚实地指出这两个代理头用的奖励和价值目标是基于状态坐标手工构造的近似值并不是环境真正的奖励函数而且在PushT的具体实现中这些坐标甚至没有对准正确的物块位姿字段。所以这个all-heads检查点只能作为一个实现层面的探索性对比不能用来判断正确设计的奖励感知训练到底是好是坏。这种坦诚其实很难得。很多论文会把这类不完美的探索性结果包装成我们还做了额外实验证明泛化性但这篇论文选择明确指出这个局限不夸大结论。最后论文也承认整体证据范围有限,只在四个短时程的模拟任务上验证过用的是特定的ViT-Tiny骨干网络、欧几里得目标成本和CEM搜索算法。每个配置只跑了一次训练意味着报告的不确定性只覆盖了评估阶段的随机性没有覆盖如果换一个随机种子重新训练一遍会怎样这层不确定性。真实机器人、部分可观测场景、更大的骨干网络、其他规划算法、学习出来的奖励函数,这些能不能同样受益于这套诊断和方法论文明确说仍是开放问题。写在后面读完这篇论文最让我意外的一点是探针检测和实际决策能力之间的脱节居然可以这么大。43个百分点的成功率差距探针却测不出来任何区别,这种隐形故障如果发生在真实的机器人产品上工程师大概会抓狂很久都找不到原因因为所有常规的表征质量检测手段全都显示一切正常。另一个值得琢磨的细节是论文里那个精英候选方案阶段排序准确性趋近于零的发现。所有变体不管加不加辅助监督到了CEM搜索的最后阶段都出现了局部排序失效。这暗示着一个更深的问题也许不是训练目标没设计好而是欧几里得距离这种度量方式本身在候选方案高度相似的局部区域里天生就缺乏足够的分辨力。这比论文正文讨论的问题更底层也更难解决DA-LeWM解决的是全局排序的问题局部精细排序这道坎目前似乎谁都没跨过去。如果精英阶段的排序注定要失效那CEM搜索到底是靠什么在后期还能收敛到好方案的是不是说明真正起作用的是前中期的粗略排序而后期看似精细的筛选其实只是在一堆差不多好的选项里随便选一个这个问题论文没有回答。QAQ1Plan-Real Spearman是什么APlan-Real Spearman是一种诊断指标用来测量机器人世界模型里计算出的距离排序和真实环境中实际效果的排序是否一致。它通过给同一批候选动作方案分别打两种分数模型内部的距离分数和环境实测的真实成本再计算这两组分数之间的斯皮尔曼等级相关系数得到数值越接近1说明排序越准确。Q2DA-LeWM相比原始LeWM到底改进了什么ADA-LeWM在LeWM的基础上增加了两个辅助训练头,逆动力学头和目标导向动作头,这两个头只在训练阶段起作用部署时不会增加计算量。它们逼着世界模型的内部表征具备更好的几何结构使得欧几里得距离排序候选方案时更准确。实验显示DA-LeWM在四个测试环境中都比LeWM收敛更快、在线成功率更高比如PushT任务上成功率从49.3%提升到92.7%。Q3为什么探针检测显示信息一样但机器人表现却差很多A因为探针只能检测这个压缩后的向量里存不存在某些任务相关信息比如位置、动作但探针不检测这些信息在向量空间里是怎么排列的。论文把前者叫信息充分性,把后者叫决策度量对齐。一个模型可能完美记住了所有信息但因为几何结构混乱导致基于距离的决策排序错误从而在实际执行中频繁选错方案。