AI视频生成模型知道物理定律,却说不出来:世界嵌入基准揭示的割裂
你有没有想过这样一个问题：一个能把水流、弹跳、光学折射都渲染得栩栩如生的视频生成模型，它真的"懂"物理吗？
还是说，它只是学会了"看起来像物理"这件事,就像一个背熟了所有名画构图规则的学生,画出的画却经不起美术史老师的推敲。
这正是2026年初一个由多所高校研究者组成的团队想弄清楚的事。他们的切入点很巧妙:不去直接评价生成出来的视频好不好,而是先回头问一个更基础的问题,视频的"表征",也就是模型把一段视频压缩成的那串数字向量,到底装没装下物理信息?如果装下了,这些信息能不能被轻松取出来用?
这篇论文的名字叫《世界嵌入基准》(World Embedding Benchmark)。读完之后我最大的感受是,它揭示了一个挺让人意外的矛盾:很多视频模型嘴上说不出物理规律,但身体里其实记得。
**核心问题:物理信息藏在哪,又为什么拿不出来**
先说说这件事到底难在哪。
过去几年,学界已经意识到视频生成模型在物理一致性上问题很大。比如VideoPhy、PhyGenBench这些评测都发现,生成的视频经常物理上不合逻辑,球从斜面滚下去速度不对,液体流动违反连续性,这类问题比比皆是。但这些评测都是直接看"生成结果好不好",没有人往前多走一步,去看看模型内部的表征空间里到底发生了什么。
这就好比你去检查一个厨师做的菜,只盯着端上来的成品好不好吃,却从来没问过他的食材库里到底有没有新鲜的食材。如果食材库里本来就缺货,那无论厨艺多好也做不出好菜,但如果食材库里明明有货,厨师却总也用不对,那问题就出在"调用"这个环节,而不是"储备"这个环节。这两种问题的解法完全不同。
视频表征*:简单说就是模型把一段视频"压缩"成的一串数字(向量),这些数字理论上应该保留了视频里的关键信息,方便后续做检索、分类、生成等任务。
这篇论文想做的,就是把这两件事分开测:一是**表征里到底存不存在物理信息**(可恢复性),二是**这些信息能不能和语言对齐**(跨模态对齐)。听起来有点抽象,但道理很直白,一个性质可以被一个训练过的小探针从嵌入里"读出来",但同时嵌入的相似度匹配却完全找不对对应的文字描述,这两件事是可以同时发生的,它们考察的根本不是同一种能力。
为了把这件事测清楚,研究团队搭了一个相当扎实的基准,8000个物理仿真案例,覆盖80个"物理家族",横跨流体力学、固体力学、动力学、光学与电磁学四大分支。每个家族有100个案例,代表同一个物理系统在不同参数设置下的表现,比如同样是"双摆",摆长不同、初始角度不同,就是100个不同的案例。
这些视频不是随便拍的动画,而是用专业仿真引擎算出来的物理真实响应。流体用OpenFOAM,固体用DOLFINx,动力学用Project Chrono配合解析解和数值积分,光学与电磁学用HCIPy、Mitsuba 3和Meep的FDTD方法。换句话说,每一帧画面背后都对应着一组真实的物理方程和数值解,不是美术师凭感觉画的。
**三道测试题,拆解物理理解的三个维度**
研究团队设计了三个任务,像三把不同的尺子,量的是物理理解的不同侧面。
第一个任务是文本-视频检索。给模型一句话,比如"找到间距约0.004的双缝干涉条纹",让它从一堆视频里把对应的那段挑出来。这测的是跨模态对齐,语言描述和视觉画面能不能对上号。
第二个任务是物理属性回归。这个任务不涉及语言,直接拿冻结的视频嵌入(也就是不再训练、只是提取出来的那串数字)去训练一个简单的线性探针,看它能不能预测出雷诺数、波长、弹性模量这些连续的物理量。
线性探针*:一种极其简单的模型,通常只是一层线性变换,专门用来检验一个表征里是否"线性可读"出某种信息,如果连这么简单的模型都能预测准,说明信息在表征里存在得很显眼。
第三个任务叫配对分类。给模型一个视频,再给它三个候选描述,比如"斜面滚动""弹簧振子振荡""齿轮传动",让它选出正确的那个。这里又分成两种难度:同家族内区分(比如区分不同参数的弹簧振子)和跨家族区分(区分完全不同的物理现象)。前者考验的是对数值细节的敏感度,后者考验的是对物理类别的粗粒度识别。
这三道题放在一起,就像医生给病人做体检时既测血压又测血糖又测心电图,单看一项容易误判,三项放在一起才能看出身体到底哪里出了问题。
**结果一:嵌入模型"记得住"却"说不出"**
研究团队测试了多个主流的多模态嵌入模型,包括Video-CLIP-XL、Qwen3-VL-Embedding(2B和8B两个版本)、Omni-Embed-Nemotron-3B,还有LCO-Embedding系列(3B和7B)。
结果相当一致:**这些预训练的嵌入模型在跨模态物理对齐上表现很弱**。
检索任务的Recall@10(就是正确答案出现在前10个结果里的概率)普遍很低,固体力学分支甚至只有1.4%到1.9%,这几乎跟瞎猜没什么区别。同家族配对分类的准确率也徘徊在46%到53%之间,而这个任务是二选一,随机猜都有50%的准确率,也就是说模型几乎没有表现出任何额外的辨别能力。
但有意思的转折出现在回归任务上。V-JEPA2这个模型从来没有专门做过文本对齐训练,它是一个纯粹靠预测未来帧来学习视频表征的模型,结果它在物理属性回归上的表现相当不错,平均nRMSE(归一化均方根误差,数值越低越好)只有0.94到1.02,这个成绩甚至比不少做过跨模态对齐的模型还要好。
V-JEPA2*:Meta提出的一种自监督视频表征学习模型,它不靠文字监督,而是通过预测视频未来帧的方式学习视觉世界的结构。
JEPA*:联合嵌入预测架构的英文缩写,是一类不依赖生成像素细节,而是在抽象表征空间里做预测的自监督学习框架。
这个发现很值得琢磨。它说明物理信息其实是存在的,只是没有被组织成适合跨模态相似度匹配的形式。就像一个记忆力很好的人,他脑子里确实记住了很多事情的细节,甚至能在考卷上准确填出数字答案,但你让他用一句话描述这件事和另一件事哪个更像,他却总是答错,这不是记忆力的问题,是"语言表达接口"没有打通的问题。
更有意思的对照来自直接提问的大语言模型。研究团队让Qwen3.5和Qwen3.6系列(27B和35B-A3B两种规模)直接做配对分类题,而不是通过嵌入相似度去匹配。结果这些模型的表现大幅跳升,跨家族准确率冲到90%以上,同家族准确率也到了58%到61%,远远超过嵌入模型的表现。
这说明一件事:**强大的生成式多模态模型本身已经具备理解物理视频文字对应关系的能力,只是这种能力没有通过嵌入相似度的方式被充分"激活"出来**。
这就好比一个精通十国语言的翻译官,平时聊天时随口就能切换语言、理解语境,但如果你让他只用"打分卡"这种固定格式去打分评判两句话像不像,他反而发挥不出真实水平,因为打分卡这个工具本身限制了他原本灵活的判断力。如果不去设计专门的方式激活这种能力,它就只能"锁在"模型内部,表现不出来。
**结果二:对比学习能"激活"对齐,却会"牺牲"精度**
既然嵌入模型里的对齐能力没被充分激活,研究团队干脆动手试了试,能不能通过继续训练来把它激活出来。
他们选择了LCO-Embedding作为基础模型,这是一个用轻量级对比学习激活多模态能力的全模态嵌入模型。之所以选它而不是从头训练,是因为研究者发现,如果直接从底层的生成式模型Qwen2.5-Omni开始训练,引入物理数据后会频繁出现损失爆炸(loss spike),原因是生成式模型的表征空间本身是"各向异性"的,还没有被校准成适合做相似度计算的形态,而LCO-Embedding已经完成了这一步校准。
研究团队额外生成了8000个新的物理文本-视频对用来做继续训练,数值跟原始基准不重复,确保训练和测试不会"撞车"。他们设计了两种训练方案:一种只用物理数据(physics-only),另一种把物理数据和27万多条通用视频文本数据混在一起训练(general)。
结果出乎他们自己的预料。原本的假设是,混入通用数据能稳定训练、防止模型"遗忘"原有能力,但实验数据反而显示混入通用数据会拖慢物理检索能力的提升速度。而且无论哪种设置,检索性能都要持续训练很长时间才会收敛,这跟一般的通用领域嵌入模型训练(通常两轮就够)完全不同。
检索效果确实提升明显。以7B模型为例,动力学分支的Recall@10从未微调前的不到5%,一路爬到超过20%。配对分类的提升更夸张,经过物理适配后的3B和7B模型,跨家族准确率冲到98%以上,比直接提示大语言模型的表现还要好。
但代价也随之出现。**回归任务的表现反而变差了**。
这个结果值得多想一层。研究团队给出的解释是,对比学习本质上做的事情是"重新整理"表征空间,让相似的东西挨得更近、不相似的东西离得更远,这个过程对相似度匹配是友好的,但未必对"信息的线性可读性"友好。打个比方,一个仓库原本按照货物的物理属性(重量、体积、材质)摆放,你突然要求它改成按"客户点单的频率"重新摆放,点单效率确实提升了,但如果你想按重量去找某个具体物件,反而更难找了,因为货物的摆放逻辑已经变了。信息还在仓库里,只是组织方式换了,服务的目的也换了。如果不权衡这个代价,只盯着检索指标去优化,最终会在不知不觉中丢掉另一种能力。
研究团队还验证了一个"规模效应":7B的模型在相同训练设置下,检索表现持续优于3B模型。这跟此前关于生成式嵌入模型的研究结论是一致的,即底层生成模型越强,经过对比学习激活后能达到的表征上限也越高。
**结果三:更懂物理的检索器,能让生成的视频更靠谱**
前两个结果测的是"理解",第三个实验测的是"有没有用"。
研究团队把训练出来的物理感知嵌入模型接到一个检索增强生成(RAG)的流程里,配合开源视频生成模型MiniMax-H3使用。流程很直接:给定一个生成需求,先用嵌入模型去一个外部视频库里检索出最相关的参考视频,再把这个参考视频喂给生成模型,让它参考着真实的物理运动去生成新视频。
检索增强生成*:一种技术范式,简单理解就是先"查资料"再"动笔写",而不是完全凭自己脑子里记的东西生成内容,这样能减少凭空编造或出错的概率。
评测用的是PhyGenBench,一个专门测视频生成的物理合理性的基准,研究团队重点看了光学和热力学两个分支。
结果显示,不做检索增强的MiniMax-H3基线分数是0.60。如果用一个检索能力较弱的模型(VideoCLIP-XL)去检索参考视频,分数反而略微下降到0.59,相当于帮了倒忙。但换成原始的LCO-Embedding-Omni-3B去检索,分数提升到0.63。而换成这次专门用物理数据微调过的版本,表现最好的"通用+物理"混合训练版本把分数拉到了0.66,"纯物理"训练版本也达到了0.65。
这个结果说明一件挺朴素但重要的事:**检索器本身的物理理解能力,直接决定了它能帮生成模型多大的忙**。
这就像请一个向导带你去爬一座陌生的山。如果向导对这座山的地形一无所知,随便给你指一条路,很可能把你带到悬崖边,还不如你自己瞎走。但如果向导真的熟悉每条小路的坡度和危险点,他给你指的参考路线就能实实在在帮你省力气、躲开风险。检索器的角色正是这个向导,它给生成模型找的"参考范例"质量,直接决定了最终产出的物理可信度。
**这件事放在更大的背景里看**
这篇论文发表的时间点挺关键。2025年前后,物理一致性评测(VideoPhy、PhyGenBench、VBench-2.0等)已经把"视频生成模型到底懂不懂物理"这个问题炒得很热,各家都在卷生成效果,但很少有人往底层表征去挖。这篇论文算是在"评价生成结果"和"改进表征学习"之间搭了一座桥。
往前追溯,这个工作明显站在两条脉络的交汇点上。一条是科学机器学习的仿真基准传统,比如PDEBench、CFDBench、The Well,这些工作提供了丰富的数值物理数据,但大多聚焦于数值场本身,没有配套语言描述,也没有专门为多模态表征设计评测。另一条是全模态表征学习的脉络,从最早的CLIP做图文对齐,到ImageBind、LanguageBind试图把更多模态统一到一个空间里,再到最近基于大语言模型的嵌入方法(VLM2Vec、LCO-Embedding)通过轻量级对比学习去"激活"生成式模型里已有的多模态知识。这篇论文把这两条脉络接在了一起,用物理仿真数据去检验全模态表征到底学到了什么。
往后看,这篇论文留下的开放问题也很明确。研究者自己提到,物理属性回归可能需要专门的表征回归损失,类似文本嵌入里优化语义相似度时用的那类目标函数,而不是单纯依赖对比学习。这个方向如果被后续工作跟进,可能会出现专门针对"物理属性保持"设计的训练目标,把检索能力和回归能力这两者的权衡关系做得更精细,而不是像现在这样此消彼长。
**写在后面**
读完这篇论文,我反复回想的是那个V-JEPA2的结果。一个完全没见过文字描述、靠预测未来帧自学成才的模型,居然在物理属性恢复上比那些专门做过图文对齐训练的模型表现更好。这件事其实在悄悄提示一个更大的问题:我们一直以为"让AI学会说话"和"让AI理解世界"是同一件事的两个阶段,先理解再表达,但这个实验结果暗示,这两件事可能根本是两条不完全重合的能力线,一条管"知道",一条管"说出来",而现在主流的训练方式更擅长训练后者。
另一个让我意外的细节是研究团队提到的训练失败经历:直接从Qwen2.5-Omni这个生成式底座开始做物理对比学习训练,会频繁出现损失爆炸。这个细节平时很容易被当作一句技术备注匆匆带过,但它其实暴露了一个更根本的东西,生成式模型的内部表征空间从来不是为"算相似度"这件事设计出来的,它的几何结构是"各向异性"的,挤成了某种不规则的形状,你硬要往上面套一个要求球形分布的对比学习目标,自然会出问题。这提醒我们,很多看似是"训练技巧"的坑,背后其实是表征空间几何性质的错配。
那么回到最初的问题,如果一个视频生成模型连物理属性都能在内部表征里悄悄"记住",却怎么都"说不出来",我们到底该怎么判断它是不是真的懂物理?
Q&A
Q1：世界嵌入基准（World Embedding Benchmark）具体测了什么内容？
A：它包含8000个物理仿真视频案例，覆盖流体力学、固体力学、动力学、光学与电磁学四大分支80个物理家族，通过文本-视频检索、物理属性回归、配对分类三个任务，分别检验视频表征的跨模态对齐能力和物理信息的可读取能力。
Q2：为什么嵌入模型检索物理视频效果很差，但却能预测出物理数值？
A：因为检索依赖的是跨模态相似度匹配，而回归依赖的是信息在表征里是否线性可读，这是两种不同能力。实验发现物理信息其实存在于嵌入中，只是没有被组织成适合相似度匹配的形式，导致检索表现差但回归表现尚可。
Q3：用物理数据微调嵌入模型后，为什么检索变好了，回归反而变差了？
A：因为对比学习本质是重新整理表征空间，让相似样本更靠近、不相似样本更远离，这有利于相似度匹配，但会打乱原本适合线性读取物理数值的结构，造成检索能力提升和回归精度下降之间的权衡。