万字长文｜一文详解具身智能：视觉-语言-动作模型（VLA）系统性综述

点击下方卡片，关注「魔方AI空间」公众号

经典文章回顾：

• 一文梳理主流大模型推理部署框架：vLLM、SGLang、TensorRT-LLM、ollama、XInference
• 一文梳理主流热门智能体框架：Dify、Coze、n8n、AutoGen、LangChain、CrewAI
• 一文搞懂RAG技术范式演变及Agentic RAG：未来AI应用的基石
• 一文搞懂DeepSeek的技术演进之路：大语言模型、视觉语言理解、多模态统一模型
• 深度长文｜一文读懂多模态大模型：强化学习技术全面解读 SFT、RLHF、RLAIF、DPO
• 首篇MCP全面技术综述：架构、核心组件和工作流程
• 142页深度解析：DeepSeek-R1的推理技术综述，AI的“思考”秘密大公开

AIGC技术交流社区（涵盖AI绘画、AI视频、大模型、AI多模态、数字人、具身智能等AIGC干货资源及教程）欢迎大家加入：

视觉-语言-动作（VLA）模型通过将自然语言指令和视觉观测映射到机器人动作，将视觉-语言模型扩展至具身控制。

尽管具备强大能力，VLA 系统仍面临巨大挑战，其庞大的计算与内存需求与边缘平台（如车载移动操作臂）对实时性能的约束存在冲突。

缓解这一矛盾已成为近期研究的核心焦点。针对日益增长的高效且可扩展 VLA 系统的研究趋势，本文系统综述提升 VLA 效率的方法，重点在于降低延迟、内存占用以及训练与推理成本。

将现有解决方案分为四个维度：模型架构、感知特征、动作生成以及训练/推理策略，并总结了各类别中的代表性技术。

最后，探讨未来趋势与开放性挑战，指出推动高效具身智能发展的方向。

论文标题：《Efficient Vision-Language-Action Models for Embodied Manipulation: A Systematic Survey》

论文地址：https://www.arxiv.org/abs/2510.17111

视觉-语言-动作模型核心思想是设计一个统一模型，直接将高维感知输入（视觉）和自然语言指令（语言）映射为低层机器人控制信号（动作）。

通过采用这种数据驱动的方法，视觉-语言-动作模型旨在提升泛化能力和语义理解，使机器人能够处理复杂且非结构化的任务。

该研究方向的发展大致可分为三个阶段：

阶段 I：早期探索与基础建立。在视觉-语言-动作（VLA）这一术语正式确立之前，研究人员已开始将深度学习 模型直接应用于机器人控制。如 RT-1 和 Diffusion Policy 等工作展示了使用 Transformer 或扩散模型构建端到端策略的可行性。这些模型将原始 RGB 图像和文本指令映射为动作序列。然而，由于模型规模相对较小且数据集有限，其泛化能力仍局限于特定任务和环境，难以处理训练分布之外的未见指令或物体。

阶段 II：视觉-语言模型的引入。一个转折点出现在预训练视觉-语言模型（VLM）的集成上。RT-2 首次正式提出视觉语言动作（VLA）的概念，并首次将预训练的 VLM 作为骨干网络。通过在大规模机器人轨迹数据集上对 VLM 进行微调，并将机器人控制信号转换为离散的动作 token，RT-2 成功地将从互联网数据中获得的通用视觉和语义知识迁移至机器人控制任务中，实现了泛化能力的显著提升。这一“以 VLM 作为策 略”的范式迅速成为主流。

OpenVLA 进一步加速该范式的普及，其提供了标准化的架构：采用强大的视觉编码器（如 SigLIP 或 DINO-v2）进行视觉特征抽取，使用 LLaMA 分词器对文本指令进行嵌入，以及采用大语言模型（如 LLaMA-7B）进行高层推理。

随后，利用大语言模型的输出预测离散的动作 token，这些动作 token 与语言 token 共享相同的词表。在此基础上，大量后续工作相继涌现：Octo 探 索使用扩散模型作为策略头以生成连续动作；GR 系列和 VPP 借鉴视频生成的思想设计用于 VLA 优化的预训练任务；ConRFT 研究结合离线与在线强化学习的训练范式。与此同时，如 Open X-Embodiment（OXE）和 DROID 等大规模且多样化的现实世界机器人数据集的发布，为训练日益庞大的模型提供了必要的数据支持。

阶段 III：架构收敛与性能优化。随着进一步发展视觉-语言-动作（VLA）架构开始趋于收敛。以 π0 为代表的新一代设计成为主流选择。通常，预训练的大语言模型（LLM）通过整合视觉、语言和机器人状态信息，完成高层规划与意图理解，并生成抽象的计划或策略表示。

随后，该表示被传递至专用的动作专家模块，该模块通常基于 DiT 模型，通过流匹配等机制对计划进行细化，并生成平滑、精确的连续动作。

当前 VLA 架构的示意图如图2所示。然而，在此阶段，模型普遍较大，推理速度仍然较慢。例如，OpenVLA 拥有 70 亿参数，运行频率为 5 Hz；而 π0 拥有 30 亿参数，推理速度约为 10 Hz。这些性能指标即使在高性能 GPU 上也难以满足；在资源受限的边缘设备上，对内存、计算能力和延迟的要求将更加难以维持。

用于VLA模型高效架构设计的三种主要策略：静态模型骨干、动态计算路径和双系统架构。

静态骨干通过采用更紧凑的模型直接提升效率；动态计算路径在推理过程中实现灵活的路由选择，平衡容量与成本；双系统架构则受到认知理论的启发，将推理和反应性分布在不同的子系统中，以实现层次化协作。

静态骨干选择是指在模型设计时选择一个固定且高效的网络架构，以提高推理效率。早期的VLA模型通常依赖于大规模预训练的视觉语言模型（VLM）作为主干网络，这些模型虽然在泛化能力上表现出色，但庞大的参数量导致了高计算开销和低推理速度。例如，RT-2模型拥有550亿个参数，其推理速度仅约为3赫兹，难以满足实时性要求。

为了提高效率，研究者们开始探索使用更轻量级的模型作为主干网络。例如，RoboMamba引入Mamba状态空间模型架构，其参数量约为2.7亿，相比基于Transformer的大语言模型（LLM），在保持任务性能的同时显著降低了延迟。

TinyVLA 通过采用较小的语言模型如Pythia-1.3B，压缩整体模型规模，使其更适合边缘部署。

SmolVLA 则通过简化模型结构，使用参数量更小的SmolVLM-2，进一步减少了计算量。

此外，NORA用Qwen-2.5-VL-3B替换了主干网络，在保持性能的同时减少了模型占用空间。

总体而言，静态骨干选择通过替换大规模主干网络为轻量级模型，实现了效率的提升，但这种方法可能会限制模型的容量上限，影响泛化能力。

动态计算路径是指在推理过程中根据输入的复杂性和任务需求动态调整计算路径，以实现更高的效率。在训练时保留大型骨干网络，但在推理时通过剪枝或提前退出等策略减少不必要的计算。

• 层剪枝：SmolVLA采用了一种简单的层剪枝策略，通过移除语言模型中固定数量的最终层来减少计算量。FLOWER则基于语义驱动的剪枝范式，观察到中间的Transformer层捕获丰富的通用语义，而最终层则倾向于过度专门化于下一个词元预测。因此，FLOWER剪除了多余的上层，移除了编码器-解码器VLMs中的解码器和仅解码器模型中的最后几层，以平衡上下文表达能力和计算效率。
• 提前退出：DEER-VLA将提前退出机制纳入VLA系统，在语言模型的各个中间层放置轻量级策略头，使得能够在多个深度进行动作预测。通过使用输出相似性度量来确定是否提前退出，优化退出阈值以平衡平均/峰值FLOPs和GPU内存使用。
• 专家混合（MoE）：MoE-VLA将语言模型的每一层视为一个潜在的专家，并采用专家混合（MoE）框架。一个门控机制动态选择哪些层参与给定输入的计算，从而避免深层信息的完全丢失。为了稳定训练，进一步应用了自蒸馏，其中完整、未剪枝的网络为简化后的计算路径提供指导。
• 基于相似性的跳过：高效VLA通过测量其输入和输出特征向量之间的余弦相似度来评估每层的贡献。如果相似度超过一个阈值，表明表示转换有限，则在推理过程中跳过该层。这种方法适应输入特性并保留所有层的潜在可用性，允许模型在需要时保留其完整的表示深度。

动态计算路径虽然灵活，但通常需要额外的分支模块以及大量的训练开销和细致的手动调试。

双系统设计受到认知科学中双重系统理论的启发，将模型分为一个用于复杂推理和长期规划的慢速系统，以及一个用于快速、直观反应的快速系统。两个子系统协同工作，使得VLA模型能够管理复杂的高级任务，同时确保在较简单场景下的低延迟推理。

• LCB：使用LLaVA作为慢速系统来生成语言描述和行动提示，然后这些提示指导一个3D扩散演员作为快速系统，通过一个可学习的令牌产生最终行动。
• HiRT：采用InstructBLIP作为慢速系统来生成表示，随后由一个高效的EfficientNet-B3快速系统通过MAP池化进行处理，以实现高效控制。
• RoboDual：将OpenVLA作为慢速系统与DiT作为快速系统相结合。慢速系统输出潜在表示，快速系统通过一个接收器重采样器进行精炼，以重构简化的动作输出。
• OpenHelix：对主流的双重系统框架进行了系统的回顾和评估，并提出了一种优化的模块化配置。具体来说，LLaVA-7亿作为慢速系统，3D扩散演员作为快速系统，在输入序列后附加了一个可学习的标记。该标记的输出会对演员产生影响。在训练过程中，慢速系统以重建三维位置和旋转的辅助目标进行优化，而快速系统则继续以动作去噪为主要任务进行训练。
• FiS：将快速和慢速系统整合到一个网络中，形成了一个隐式的双重系统路径。浅层构建中间语义表示，然后由最后一层消耗这些表示来预测动作。
• Hume：引入了一个级联的双重系统结构。慢速系统在多个噪声尺度上生成候选动作块，同时一个可学习的聚合标记被送入一个价值查询头部，该头部对候选动作进行评分。最有前景的动作块随后由快速系统进一步分解和去噪，以产生最终的动作序列。训练是联合进行的：策略头部和快速系统通过流动匹配进行优化，而价值查询头部则在带有奖励注释的数据集上进行离线强化学习训练。

双系统设计虽然在平衡复杂推理和快速响应方面有效，但常常以异步形式实施，这会在两个子系统的输出之间引入延迟，从而破坏实时决策。

从选择性特征处理和时间共享与复用两个方向系统性地检验了感知信息表征对VLA系统效率的影响。

选择性特征处理通过剪枝和转换单帧视觉输入，去除冗余信息，提高特征的压缩和精细化。

时间共享与复用则通过复用跨帧的时间特征和中间计算结果，减少冗余处理，提高整体效率。

综合这些方法，促进了感知信息的流畅处理，使VLA系统在推理和执行方面实现更高的效率，同时保持感知能力。

选择性特征处理的目标是通过剪枝、压缩或转换单帧视觉输入，去除冗余信息，从而减少计算负担，同时保留与任务相关的信息。

• 基于注意力的剪枝：FastV通过计算每个视觉标记在中间LLM层的平均注意力得分，应用Top-K剪枝。EfficientVLA进一步量化视觉 Token 与任务指令之间的交互，选择关键标记，并用高注意力和多样性驱动的任务标记增强它们。SP-VLA强调标记剪枝应保留空间结构，结合注意力得分和边缘检测的轮廓线索来衡量空间相关性。
• 基于特征的剪枝：FlashVLA通过奇异值分解（SVD）推导信息贡献分数（ICS），衡量每个标记在主导奇异方向上的投影，从而选择重要标记。
• 动态剪枝：LightVLA采用查询驱动的标记选择机制，通过跨模态注意力动态生成查询，识别最具信息量的视觉标记。ADP引入两阶段机制，首先计算文本查询和跨模态特征的静态剪枝，然后根据动作动态调整剪枝。
• 动作感知剪枝：FASTDriveVLA在训练期间增加前景-背景对抗性重建，确保模型能够区分关键前景信息和冗余背景信息。SpecPrune-VLA采用启发式控制进行两级标记缩减，动作级别静态剪枝评估标记冗余性和相关性，层级别动态剪枝利用标记与模型层之间的相关性进行剪枝。
• 量化感知剪枝：SQAP-VLA通过空间感知和量化感知的令牌剪枝框架，结合保留任务关键令牌、保护机器人末端执行器附近的令牌以及采样令牌以保持空间覆盖的策略，确保低位推断的鲁棒性。
• 表示转换：OTTER提出跨注意力池化机制，将视觉和文本令牌压缩成固定长度的紧凑表示。UniVLA通过将所有输入转换为来自共享词汇表的离散令牌，实现视觉、文本和动作模态的统一，简化多任务训练。

时间共享与复用的目标是利用帧间相似性，避免在每个时间步骤都进行完整的重新计算，从而减少冗余处理，提高整体效率。

• 键值（KV）缓存：VLA-cache通过复用静态图像块的KV缓存，针对连续帧之间的冗余。它估算跨帧的块级相似性，并对被认为是静态的块复用KV缓存，同时动态调整各层之间的重用比率。
• 时间融合：TTF-VLA通过选择性地融合连续帧之间的视觉标记来利用时间冗余。它维护一个补丁标记的历史记录，并通过一个二进制重要性掩码更新它们，该掩码识别具有显著视觉或语义变化的区域。
• 高层次感知表示复用：FlashVLA引入轻量触发器，检测连续感知驱动状态之间的相似性和选定视觉标记之间的重叠，当满足这些条件时，模型重用先前计算的表示。
• 动作推理中的时间复用：EfficientVLA采用固定间隔缓存策略，每N步重新计算特征，并在其间重用缓存的表示。Fast ECoT通过模块级缓存重用变化缓慢的推理结果，结合连续批处理实现显著的效率提升。

尽管有这些进步，当前研究仍然面临显著的挑战。Token 剪枝方法通常依赖于手动预定义的阈值或固定的剪枝比率，缺乏动态适应变化任务或环境的能力。此外，大多数感知表征仍然局限于2D RGB输入，而3D处理通常涉及较大的计算开销，影响实时性能，从而限制了实际应用。

未来的研究预计将沿两个方向前进。首先，开发能够动态调整剪枝比例和策略的自适应机制至关重要，这将使模型能够根据任务复杂性和环境变化优化特征选择，从而在效率和性能之间实现更稳健的平衡。

其次，对于3D视觉表示来说，进展将依赖于更高效的建模和压缩策略，例如从单目线索进行轻量级深度估计、通过体素或点云压缩来降低数据密度，以及利用基于图像特征的效率同时保留关键空间结构的混合2D-3D融合方法。这些方法旨在保留3D感知的好处，如深度推理和空间一致性，而不会产生过高的成本。

VLA系统中高效输出生成的两种代表性范式：直接原始动作生成和基于推理的动作生成。

直接原始动作生成强调概念简洁性和低延迟，适用于严格频率要求下的实时决策。

基于推理的动作生成结合了明确的任务规划和中间语义，增强了长期推理能力和跨场景泛化能力，但显著增加了计算负担。

原始动作生成直接输出低维连续动作向量，通常包括平移、旋转和夹持器状态。这种直接输出方式虽然推理延迟小，但在生成长动作序列时容易出现误差累积和效率瓶颈。

• 动作块生成：Action Chunk通过时间集成技术（如平滑或时间平均）在一个推理步骤中生成一系列连续的动作，减少误差累积并提高控制吞吐量。RTC（Real-Time Chunking）通过软遮罩方案和迭代去噪框架（如扩散或流动匹配）解决块边界处的不连续性问题，实现稳健的实时控制。
• 动作压缩：FAST通过离散余弦变换（DCT）和字节对编码（BPE）对离散动作序列进行压缩，降低推理成本。OmniSAT引入统一的动作标记器，将连续轨迹转换为紧凑的离散标记，保留轨迹保真度，支持高效的自回归建模。
• 动作标记化：VOTE引入特殊标记，通过轻量级MLP映射到连续动作，减少生成的令牌数量和解码步骤，显著提高推理速度。SpatialVLA结合动作离散化和动作令牌压缩，将平移向量转换为极坐标，保留欧拉角用于旋转，并对夹持器状态进行离散化。

推理感知的动作生成在产生最终行动之前明确地纳入了推理阶段，通过分解任务、提取语义特征等中间步骤，增强长时任务中的任务分解和规划能力，但引入了额外的计算成本和延迟。

• 基于语言的推理：具身思维链推理（ECoT）将任务指令分解为细粒度的子任务描述，生成结构化字段（如任务、计划、子任务等），然后生成原始动作序列。快速ECoT通过重用变化缓慢的高级计划和采用连续批处理减轻效率问题。ECoT-Lite在训练时联合预测推理和行动，但在测试时丢弃推理标记，仅输出行动，显著提高推理速度。
• 基于视觉的推理：UniPi通过预测目标状态帧并应用逆动力学模型生成动作。SuSIE通过预测单个子目标图像并转换为动作，减少推理延迟。VPP通过提取多尺度特征并传递给扩散策略生成动作，避免完整的去噪过程。DreamVLA通过动态基于区域的预测，仅预测与终端效果相关的动态区域，减少计算量。

尽管有这些进步，这两种方法仍然存在明显的局限性。直接行动生成在低延迟环境中虽然高效，但由于缺乏明确的推理信号，在不同实施例之间转移时往往难以持续表现，尤其是在长期任务中。基于推理的方法通过要求生成长序列的中间标记显著增加了计算负担，对实时控制环境中的部署提出了挑战。当前的解决方案如异步推理和部分步骤更新在一定程度上缓解了这个问题，但未能解决推理密集型范式固有的结构性低效问题。

未来的研究应专注于开发实用的加速机制，以实现高效的推理而不牺牲可解释性和泛化能力。有希望的方向包括选择性推理、分层规划和混合架构，为可扩展和可部署的推理驱动VLA代理铺平道路。

本节探讨提高视觉语言动作（VLA）模型训练和推理效率的方法，这些方法对于模型的实际部署至关重要。

训练方面，参数高效调整、知识蒸馏和量化降低了计算成本，同时保持性能竞争力。推理方面，研究正超越纯自回归解码，探索并行或混合生成方案以加快决策过程。

训练效率技术旨在降低VLA模型训练过程中的计算成本，同时保持任务性能。

• 参数高效微调（PEFT）：通过冻结预训练模型的大部分权重，仅训练少量可训练参数，如低秩适应（LoRA），显著减少训练成本。
• 知识蒸馏：将大型模型的知识转移到小型模型上，如CEED-VLA通过一致性蒸馏稳定非自回归推理，VITA-VLA通过动作对齐将预训练的小型动作模型的知识转移到大型视觉语言主干。
• 结构化参数剪枝：通过剪枝减少模型中的参数数量，GLUESTICK通过低秩校正恢复因剪枝丢失的重要信息。
• 量化：通过减少模型的精度来降低内存和计算需求，SQIL引入量化感知训练（QAT）方法，提高量化效率。

推理效率技术旨在提高模型在实际应用中的响应速度，减少推理延迟。

• 非自回归（NAR）解码：通过并行生成输出标记来提高推理速度，如openvla-oft通过双向注意力和连续回归动作表示实现并行解码。
• 投机解码：Spec-VLA通过轻量级草图模型并行生成候选动作序列，然后由主模型验证，显著提高推理速度。
• 迭代细化：PD-VLA通过并行预测所有动作并进行迭代细化，CEED-VLA通过一致性蒸馏和提前退出机制提高效率。

大多数VLA框架都是根据多模态语言模型进行改编的，它们的效率方法通常遵循一般视觉-语言研究的假设，很少涉及机器人特定需求，如时间一致性、具身约束或动作执行延迟。

未来的工作应该设计直接针对具身决策的效率技术，而不是将VLA优化视为VLM研究的次要结果。

上文在模型架构、感知特征、动作生成以及训练与推理流水线等方面优化视觉-语言-动作（VLA） 模型效率的研究。尽管在降低这些模型的计算和资源需求方面已取得显著进展，但要实现真正高效、通用且可 靠的具身智能，绝非当前技术的简单外推法。

面对现实物理世界的复杂性、动态性和不确定性，现有的 VLA 模型在数据依赖性、感知维度、决策深度以及自主学习能力方面仍存在根本性局限。

本节从五个维度探讨了未来高效视觉语言动作（VLA）模型的发展方向，旨在平衡能力和效率，推动具身智能的实用化和泛化能力。

• 现状：VLA模型的“更大模型训练更多数据”范式正接近饱和点，效率和泛化能力不再单纯依赖于参数规模。
• 挑战：数据量的指数增长与有限的计算和内存预算之间的不平衡，导致数据效率问题。
• 未来方向：模型与数据的共同优化，开发以数据为中心的效率框架，探索选择性或基于课程的数据管道，研究联合缩放律，实现数据量、模型复杂性和任务性能之间的帕累托最优平衡。

• 现状：当前VLA模型受限于二维图像输入和马尔可夫假设，难以处理空间和时间复杂性较高的任务。
• 挑战：转向时空表示会增加输入标记的数量，导致计算成本显著增加，同时冗余信息会降低效率。
• 未来方向：开发任务感知的3D总结，结合短期密集状态跟踪与长期稀疏总结，跨模态语义引导的过滤和标记剪枝，以及评估下游主干成本，以实现时空感知的高效表示。

• 现状：当前模型主要采用分块控制范式，适用于低频控制任务，但难以满足高频、连续控制的需求。
• 挑战：增加动作块长度或控制频率会增加输出标记数量，导致推理延迟增加，同时保持时间一致性变得困难。
• 未来方向：探索紧凑且层次化的动作表示方式，开发跨块时间一致性的机制，以及将推理集成到VLA中，实现反应性推理，以满足高频控制的需求。

• 现状：模仿学习（IL）是当前主导的训练范式，但其性能上限受限于示范数据集。
• 挑战：强化学习（RL）虽然具有自主性潜力，但在具身环境中的应用面临样本效率低下、策略更新成本高、奖励规范模糊等问题。
• 未来方向：结合模仿学习和强化学习的渐进式训练流程，从模仿学习初始化稳定策略，通过离线强化微调增强泛化能力，最后进行有限阶段的在线适应。补充效率技术，如基于模型的展开、经验重放和自适应奖励塑形，以优化交互预算。

• 现状：当前VLA研究报告了异构指标，依赖于多样化的数据集和不同的硬件，导致跨比较困难，难以量化真正的效率提升。
• 挑战：缺乏统一的评估框架，难以衡量模型的设计和比较，无法突出计算需求与任务表现之间的权衡。
• 未来方向：建立一个以资源效率、任务表现和可解释性为中心的三维评估框架，推动社区协作建立大规模、多场景、多任务的VLA开放基准，提供开放的数据集、标准化的模拟环境和实际机器人测试协议。

本文回顾了关于视觉-语言-动作（VLA）模型效率最优化的研究。从基础模型架构、感知表示到高层动作生成的演进过程，涵盖了训练与推理两个方面。在此基础上，重点阐述几项新兴研究方向：模型与数据的协同演化、时空感知以构建动态世界模型、用于智能动作生成的审慎推理、兼顾模仿与强化学习策略的学习范式，以及统一的评估框架以实现可复现的评价。

加入「AIGCmagic社区」群聊，一起交流讨论，涉及 AI视频、AI绘画、Sora技术拆解、数字人、多模态、大模型、传统深度学习、自动驾驶、具身智能、Agent等多个不同方向，可私信或添加微信号：【m_aigc2022】，备注不同方向邀请入群！！

更多精彩内容，尽在「魔方AI空间」，关注了解全栈式AIGC内容！！

欢迎加入「AIGCmagic社区知识星球」，2025年惊喜特价，扫码领取优惠价格！！

► AGI新时代的探索之旅：2025 AIGCmagic社区全新启航

► 技术资讯： 魔方AI新视界

► 项目应用：开源视界

► 技术专栏： 多模态大模型最新技术解读专栏 | AI视频最新技术解读专栏 | 大模型基础入门系列专栏 | 视频内容理解技术专栏 | 从零走向AGI系列

► 技术综述： 一文掌握视频扩散模型 | YOLO系列的十年全面综述 | 人体视频生成技术：挑战、方法和见解 | 一文读懂多模态大模型（MLLM）｜一文搞懂RAG技术范式演变及Agentic RAG｜强化学习技术全面解读 SFT、RLHF、RLAIF、DPO｜一文搞懂DeepSeek的技术演进之路