AI开始用自己的语言沟通了！清华等重磅综述揭秘潜空间正抛弃人类语言

人们看着屏幕上的大模型逐字吐出文本，仿佛这就是它思考的过程。

其实大模型的“思考”，是在潜空间（Latent Space）里完成的。

大模型的前沿探索，正在跳出人类词汇表的限制，AI开始在一个看不见的多维连续空间里，用机器原生的母语进行“思考”、推理。

新加坡国立大学、复旦大学、清华大学、浙江大学等近20个国内外顶级学术机构，带你透视下一代人工智能的核心工作机制，全面拆解潜空间的计算新范式。

机器真正的母语

传统的大模型，不管LLMs（大语言模型）、VLMs（视觉语言模型）、还是VLAs（视觉语言动作模型），整个运行过程，输入和输出全都是人类可读的词元序列。

模型在这种显式空间里按顺序吐出字词，甚至连思考的过程也被强制要求写成人类能看懂的思维链（CoT）。

靠离散字词符号来计算，AI系统不可避免地遇到了硬性瓶颈。

为了让文字读起来通顺，模型必须生成大量毫无逻辑实质作用的废话，只为满足语法和连贯性要求。

每次推导都要把内部复杂的语义压缩成几个干瘪的单词，造成了严重的信息流失。

而且只能一个词接一个词地按顺序生成，这种模式让计算效率变得很低。

潜空间则是模型内部隐藏状态的连续表示空间。

在这里，文字、图像或动作等信息被联合表示为连续的高维向量。模型不再被要求把每一步思考都翻译成人类语言，直接在连续的流形空间里流转计算。

上面的对比图展示了两种空间的本质差异。

显式空间是离散的、符号化的、人类可读的，不可避免地带有效率低下和语义受损的弱点。

潜空间是连续的、灵活的、高效的机器原生媒介。它具备强大的可操作性，支持拼接、线性组合甚至主动干预。

极高的表达能力让它能装下高维的非语言信息，可扩展性和泛化能力也远超传统词汇表。

对比生成式视觉模型的潜空间，大模型的潜空间主要受预测标准驱动，更侧重于语言逻辑语义，而不是纯粹的空间拓扑结构。

冲破词表束缚的进化

潜空间的探索并非一蹴而就，整个演进过程清晰地划分为四个阶段。

时间线梳理了这一技术脉络。在原型阶段，研究人员敏锐地发现大语言模型的内部激活状态里，早就潜藏着推理能力。

早期探索证实，思维链的冗长轨迹完全可以被压缩成紧凑的特定标记。只要将模型最后一层的隐藏状态直接反馈给下一层的输入，就能绕过离散词表的瓶颈，形成连续的思想循环。

进入形成阶段后，理论体系开始建立。严密的数学证明确认了连续思想向量如同量子叠加态一般，可以同时编码多个搜索前沿。

带有递归深度的架构被证明能表达比标准模型更复杂的计算。多模态领域也开始发力，视觉大模型尝试把隐藏状态转化为视觉标记，学会在脑海中进行视觉想象。

随后的扩张期见证了多模态和多领域生态的繁荣。

记忆机制被引入潜空间，模型在思考时无需外部提示就能自发形成规划和工作记忆。

智能体之间的交流不再依赖低效的文本，直接交换连续的语义向量实现了更高带宽的沟通。

具象化领域也迎来爆发，潜在动作表示成为训练机器人导航和操作的统一接口。

到了全面爆发阶段，专门为潜在计算量身定制的架构层出不穷。

模型设计不再局限于对传统变压器架构的浅层修改，深度循环、低秩投影和概念级计算边界等原生设计大量涌现。

优化策略也变得精细入微，可以直接对潜在轨迹进行强化学习优化。

这种百花齐放的局面，确立了潜空间作为全新计算范式的地位。

四层架构搭建底层齿轮

要理解潜空间如何运作，必须深入观察它的技术齿轮。

学术界在这个问题上交出了四份不同层面的答卷，涵盖了架构、表示、计算和优化四个维度。总览图和符号表展示了整个机制的全局视图。

从架构层面看，模型如何容纳潜空间有三种主要路径。

主干架构设计赋予模型原生的潜在计算能力，通过参数共享、迭代更新或层级递归让模型自己主导连续计算。

组件架构保留原有模型框架，插入专门的生成、对齐、控制或存储模块，在尽量不破坏主干的情况下实现增强。

辅助模型架构引入一个外部教师，用它的中间特征或监督信号来指引主模型的推演。

进入表示层面，我们需要搞清楚信息在潜空间到底长什么样。

根据信息来源和参数构建方式，表示形态分为内部、外部、可学习和混合四类。

内部表示直接提取模型自带的隐藏状态、加权词嵌入或键值缓存，零成本实现知识复用。

外部表示从独立的预训练视觉或逻辑模型里拿来知识，注入到主模型中充当外脑。

可学习表示在模型内部埋入专门优化的参数模块，用来学习信息压缩、分布拟合或者跨模态对齐。

混合表示兼顾了外部的结构化知识和内部的针对性优化。

有了表示载体，紧接着就是在此基础上的计算。潜空间彻底改变了逐字生成的线性节奏。

压缩计算大刀阔斧地砍掉冗余的中间文字轨迹，把几十步的推理浓缩进几个高密度的连续向量里。

扩展计算在深度或广度上做加法，利用循环迭代或者并行推演，让模型同时探索多条解决路径。

自适应计算能看懂题目的难度，遇到难题自动增加思考步骤，遇到简单问题迅速得出结论，灵活分配算力。

交错计算把人类文字和机器向量穿插混编，该用文字记录的地方用文字，该在脑海里模拟图像的地方用向量，完美桥接了不同模态。

最后的齿轮是优化，这决定了如何培养模型的这种原生能力。

预训练阶段让模型从零开始，在海量数据中自然发育出连续思考的直觉。

后训练阶段用特定的任务数据或者强化学习奖励去打磨它的能力边界。

推理阶段的优化直接在实际使用时发挥作用，利用自我奖励机制或梯度搜索实时修正思路。

释放模型七大潜能

底层的架构演进和计算机制创新，最终转化成了令人惊叹的能力跃升。

潜空间让大模型突破了单纯的文本生成工具定位，长出了七大核心潜能。

推理是潜空间展现威力的第一战场。模型不仅能把冗长的文字推导压缩成极简状态，还能在连续空间里进行多条逻辑分支的并行推演。这种能力跨越文本，延伸到了空间几何与物理定律之中。

规划能力的跃升体现在对计算资源的调度和对多步决策的掌控上。连续可导的流形空间天然适合做梯度优化，模型学会了在内部演练多条行动路线，动态决定何时继续深入思考，何时终止搜索得出结论。

建模能力赋予了内部状态被分析和干预的可能。研究人员不仅能检测模型到底是在踏实推理还是在投机取巧，还能从防御角度实时清洗危险指令，大幅增强系统的鲁棒性。

感知潜能彻底治愈了多模态模型把视觉信息强行翻译成文字所带来的感知衰退。通过原生多模态推理，模型在脑海中保留了完整的三维结构和空间拓扑，甚至能完成纯文字根本无法描述的视觉试错与想象。

记忆机制从被动翻看历史记录进化成了主动管理的持久化心智。模型能将长周期的观察打包成紧凑的向量，在不同的对话甚至不同的任务中跨语境调用，化解了超长上下文带来的算力灾难。

协作能力带来了智能体之间极速、无损的心智共享。多智能体系统不再需要费力地把想法写成文字发给对方，直接发送底层的连续状态就能完成策略同步。这种沟通协议极大提高了群体智能的协作带宽。

具身智能也许是这项技术的最大受益者。机器人面对千变万化的物理世界，不可能依赖人类手动标出每一条动作序列。在统一的潜在动作空间里，机械臂学会了直接从海量无标注视频里提取运动直觉。它能在动手前预测几秒后的物理状态，这种空间认知和运动迁移能力为通用机器人的落地铺平了道路。

看不见的黑盒挑战

硬币的另一面是这套机器原生范式带来的严峻挑战。潜空间的高效、连续和高维度特性，不可避免地剥夺了人类的旁观权。

可评估性面临巨大考验。

人类根本看不懂那一串串高维向量，没法判断中间某一步到底是真在思考，还是仅仅碰巧关联到了正确答案。

缺乏统一的评估标准和测量工具，让研究人员很难对不同方法的真实效果做出公平公正的裁决。

可控性同样不容乐观。

尽管内部状态在理论上可以通过算法干预，但在面对非常复杂的高级语义意图时，直接修改向量往往牵一发而动全身。

如何把人类世界里的安全底线和资源限制，精准映射到模型的神经元活动上，目前还是一个未解之谜。

可解释性的困境更加深远。

几万个交织在一起的数字根本无法对应到任何清晰的词汇上。模型为什么会得出这个结论，中间出了错该找谁问责，这些问题在潜空间里变得难以追查。

未来的破局之道，在于打造原生多模态融合以及彻底的跨系统整合。潜空间不会彻底消灭人类文字，文字依然是人机对话的接口。

未来的AI系统形态大概率会演变成这样：外表通过清晰明了的文字或语音与人类顺畅交互，内里在一个不可见却极为广阔的潜在连续空间中，完成感知、推理、记忆和具身操作的高速流转。

我们面对的，将是一个更加聪明、独立，也更加深邃的AI。

参考资料：

https://arxiv.org/pdf/2604.02029

https://github.com/YU-deep/Awesome-Latent-Space