德克萨斯大学奥斯汀分校提出全新扩散语言模型TTCD

这项由德克萨斯大学奥斯汀分校研究团队完成的研究，以预印本形式于2026年5月7日发布，论文编号为arXiv:2607.14106v1，感兴趣的读者可通过该编号在arXiv平台检索完整论文。

现在的AI写作工具，大多数人对它的印象是"一字一字往外蹦"——像极了你高中时盯着考卷苦苦思索，先写第一个字，再写第二个字，每次落笔都要参考前面已经写下的内容。这种方式叫"自回归生成"，它很好用，但速度是它的硬伤：必须一步一步来，无法并行加速。

正因如此，另一类AI写作方案近年来引发了广泛关注——"扩散语言模型"。这类方法的思路更像一位画家：先在画布上涂抹一片朦胧的噪点，然后一轮一轮地细化，直到清晰的图像浮现出来。在语言版本里，AI从一堆随机字符出发，经过多轮"去噪"，最终得到一段有意义的文字。最大的优势在于，这个过程可以并行处理所有位置的字符，大幅提升生成速度。

然而，现有的扩散语言模型存在一个根本性的缺陷，德克萨斯大学奥斯汀分校的研究团队将其称为"因式分解问题"。简单说，当AI在一步之内同时决定多个字的内容时，它实际上是把每个字独立地猜出来，而不是真正考虑它们之间的搭配关系。这就好比你让一群人同时猜谜，每个人只能听到谜面，相互之间无法交流——结果虽然每人都给出了"合理"的答案，合在一起却可能驴唇不对马嘴。

面对这个问题，研究团队提出了一种全新的方案，名为"Token时间连续扩散模型"（TTCD，Token Time Continuous Diffusion）。这个名字听起来很拗口，但它背后的核心思想却出人意料地直觉化：不同的字，应该以不同的速度从"噪声"变成"清晰"。有些字天生容易猜，就让它先变清楚；有些字需要参考更多上下文，就让它慢一点。

一、从"一锅炖"到"分档火候"——扩散语言模型的困境与出路

要理解TTCD究竟解决了什么问题，先得明白现有扩散语言模型的运作方式。

现有的扩散语言模型大体上分为两类。第一类在"离散空间"里操作，也就是直接对词汇表中的具体词语进行操作。比较有代表性的方式是"遮盖扩散"：把文章中的每个词都先用[MASK]遮住，然后一步一步地揭开遮盖，让AI逐渐填上正确的词。另一种方式是从完全随机的词语出发，然后逐步替换成更合适的词。第二类在"连续空间"里操作，把每个词转换成一个数字向量（可以理解为词语的"坐标"），然后让这些坐标从随机噪声出发，一步步流向正确词语对应的坐标位置。

"因式分解问题"主要困扰的是离散空间模型。每当模型需要在一步之内同时决定多个词的内容时，它其实是在独立地对每个位置做决策，就像多个互不相识的演员同时即兴表演，虽然各自表现都不错，但合演出来的戏却缺乏默契。这个问题在生成步数很少（也就是"高倍速"生成）时尤为突出——步数越少，每步需要同时决定的词就越多，集体"各说各话"的概率就越大。

连续空间模型理论上能绕开这个问题，因为词语的"坐标"在变成最终答案之前一直处于模糊状态，不需要在中途做出明确的离散决策。然而，连续空间模型有自己的麻烦：研究人员发现，词语的"坐标"在从噪声向目标移动的过程中，存在一个"突变区间"——在很长一段时间内，坐标仍然一片混乱，毫无规律；但当噪声水平降到某个临界点时，所有词语几乎同时"跳变"为清晰的答案。这意味着大部分去噪步骤都是无效的，真正有用的信息只在极短的窗口内出现。更麻烦的是，当AI需要根据已有的前缀（输入的提示词）来生成后续内容时，现有连续空间模型的"全局时间"机制会把输入词和待生成词都放在同一个噪声水平下处理，无法区分"这是已知的干净输入"和"这是需要从噪声中生成的内容"。

研究团队的核心洞察是：这两个问题都源于同一个设计缺陷——整个句子中所有词语共享同一个"时间"（即噪声水平）。有些词本来很容易猜，但受制于统一的时间表，不得不和难猜的词一起慢慢等待。提示词明明是干净的已知信息，却被强行赋予与待生成词相同的噪声水平。

二、给每个词配一块"独立进度条"——per-token时间的设计

TTCD的核心创新是引入了"每个词独立时间"（per-token时间）的概念。

在传统连续扩散模型里，有一个"全局时间"参数，取值从0到1，0代表纯噪声，1代表干净的词语。这个参数对句子里所有词都是一样的，就像一个统一的闹钟，所有词同步出发、同步到达。

TTCD打破了这个统一闹钟。每个词现在有自己的"本地时间"，这个本地时间由两个因素决定：全局时间（相当于整场比赛进行了多久）和这个词的"排名"（rank，相当于这个词被分配到了哪个赛道）。排名高的词，本地时间推进得更快，也就是更早从噪声变成清晰的词语；排名低的词，本地时间推进得更慢，更晚才变清晰。

具体的数学设计颇为精巧。每个词的排名是从0到1的均匀随机数，在整个生成过程中固定不变。给定全局时间和排名，本地时间通过一个特殊函数计算得出。这个函数的设计满足几个关键要求：当全局时间为0时，所有词的本地时间都是0（全部处于纯噪声状态）；当全局时间为1时，所有词的本地时间都是1（全部变成干净词语）；在中间过程中，排名越高的词本地时间越大（越靠近清晰状态）；而且所有词本地时间的平均值恰好等于全局时间（保持整体进度的一致性）。

研究团队选用了Beta分布的分位数函数来实现这个映射。直观上，可以把这个设计理解为一场马拉松：全局时间是比赛进行的总时长，每个词是一名选手，排名决定了选手的"起跑优势"——排名高的选手跑得快，已经接近终点；排名低的选手跑得慢，还在后半段苦苦追赶。但无论快慢，所有人都在同一场比赛里，开始时同在起跑线，结束时都会抵达终点。

这个设计带来了几个直接好处。在任何给定的全局时间点，句子中同时存在处于不同清晰程度的词：有些词已经接近清晰，可以为模型提供参考；有些词还在噪声中，需要借助前者的信息来猜测自己的内容。这让模型在训练和推理过程中，能自然地学会利用已清晰词语来推断未清晰词语，这正是语言建模的核心能力——理解词语之间的依赖关系。

三、聪明地分配"进度条"——基于确信度的排名分配

TTCD的per-token时间设计还解决了另一个问题：哪些词应该被赋予更高的排名（更早变清晰），哪些词应该被赋予更低的排名（更晚变清晰）？

最简单的方式是随机分配排名，就像随机给马拉松选手分配出发顺序。研究团队在Sudoku（数独）实验中测试了这种方式，发现确实比现有方法有所提升，但还不够好。

更好的方式是让模型自己判断：哪些词它已经很有把握，哪些词它还很不确定？有把握的词应该更早固定下来，为其他不确定的词提供参考；不确定的词应该多等一等，等周围词变清晰之后再做决定。

TTCD的推理算法中实现了这个想法。在正式开始逐步去噪之前，模型先做一次"侦察"：把所有待生成的词都初始化为纯噪声，做一次前向推理，看看模型对每个位置的预测有多确定。衡量"确定程度"的指标是熵（entropy）——熵越低，说明模型对这个位置的预测越集中（比如有90%的概率认为这里应该是"的"），确信度越高；熵越高，说明模型对这个位置摸不准头脑，各种可能性都有。

侦察结束后，按照每个词的熵值重新排列排名：熵低（确信度高）的词获得高排名，熵高（确信度低）的词获得低排名。这样，那些模型"一眼就能看出来"的词会更早变清晰，成为其他词的"参照锚点"；那些需要更多上下文才能确定的词，则等待更多信息后再做决定。

这个设计和人类写作的直觉高度吻合。当你写一篇文章时，有些词几乎是自然而然就确定了（比如文章的主题词、固定搭配），而有些词需要斟酌再三（比如一个微妙的形容词）。TTCD让AI也能做到这种自然的"先确定容易的，再处理难的"。

四、连续空间里的确定性之路——去噪步骤的设计

在正式介绍去噪步骤的设计之前，有必要解释一下连续扩散模型的基本操作逻辑。

在连续空间里，每个词都对应一个"词向量"（一组数字，可以理解为词语在多维空间里的坐标）。纯噪声状态是一堆随机散布的坐标，干净词语状态是每个词对应的固定坐标。去噪的过程就是让坐标从随机位置逐步移向目标词的坐标位置。

每一步的移动方向怎么确定？模型根据当前的坐标状态（以及词语的本地时间），预测每个位置最终应该是什么词，然后用"预测词的词向量的加权平均"作为目标，计算出移动的方向和距离。这就像你在迷雾中移动，每一步都根据当前位置和隐约看到的目标灯塔方向，向前迈一步。

TTCD在这个基础上加入了per-token时间的调整：每个词的移动步长不再由统一的全局步长决定，而是由它自己的本地时间步长决定。排名高、本地时间推进快的词，每步移动得更多；排名低、本地时间推进慢的词，每步移动得更少。这保证了整个系统的一致性：每个词都严格按照自己的"进度条"前进。

对于有输入提示词的情况（也就是"给定前缀，续写后文"），TTCD的处理极为自然：提示词的本地时间直接设为1（完全干净），在整个生成过程中保持不变，对应的词向量也永远是提示词的真实词向量。这意味着模型始终能看到完整、干净的输入提示，而无需猜测它。相比之下，现有的连续空间模型会把提示词和待生成词放在同一个时间尺度下处理，无法做出这种清晰的区分。

五、一步压缩多步——快捷模型的蒸馏

TTCD还引入了一套自我蒸馏（self-distillation）机制，进一步提升少步生成的质量。

这套机制参考了"快捷模型"（shortcut model）的思路：正常的扩散模型需要很多小步才能从噪声走到干净状态；快捷模型则试图让一大步（比如直接从全局时间0.3跳到0.7）的效果等同于两个小步（从0.3到0.5，再从0.5到0.7）叠加的效果。

实现方式是在原有的TTCD模型训练完成之后，用一个额外的微调阶段来训练快捷模型。微调时，模型需要同时接收"起始全局时间"、"终止全局时间"（以及辅助稳定训练的"中间全局时间"）作为条件输入，学会预测在这段时间区间内的"平均流速"。训练目标是让一步的预测结果与两步展开的预测结果保持一致，通过最小化两者的KL散度（一种衡量两个概率分布差异的指标）来实现。此外，还保留了一个辅助损失项，确保当步长趋近于0时，模型的预测与真实数据保持吻合。

在推理阶段，快捷模型与标准TTCD的推理流程相同，只是额外接收终止时间作为条件。这让快捷模型能够在更少的步数内完成高质量生成，对于需要快速响应的应用场景尤为重要。

研究团队在OpenWebText（一个大规模互联网文本数据集）上的实验中，先用1M步训练标准TTCD模型，再用5万步微调快捷版本（其中前4万步用均匀采样的时间区间，后1万步用特殊的采样策略进一步强化少步场景）。实验中还发现，在快捷蒸馏时，除了起始和终止时间外，额外提供中间时间作为条件输入，能显著稳定训练过程——这是因为大步长会导致排名信息"模糊"，而中间时间的加入能弥补这一信息损失。

六、改造建筑结构——在Transformer中嵌入per-token时间

实现per-token时间还需要对模型架构做出调整，否则模型无法感知每个词各自处于什么"时间"。

TTCD基于扩散Transformer（DiT）架构，这是一种在图像和语言扩散模型中广泛使用的结构。标准DiT通过"自适应层归一化"（adaLN）机制将全局时间信息注入模型：将全局时间编码成一个向量，然后用这个向量来缩放、平移和门控每一层的归一化操作，相当于让时间信息渗透到模型的每一个计算步骤中。

TTCD的改造思路是：保持完全相同的参数结构，但把"全局时间"替换成"每个词各自的本地时间"。也就是说，同一层的不同词，用的是不同的时间向量来调制归一化操作。这个改造不引入任何新的参数，只是改变了输入的构成方式。

对于快捷蒸馏版本，需要同时接收多个时间作为条件（起始、中间、终止），研究团队采用了拼接后降维的方式：把三个时间的嵌入向量拼在一起，再通过一个线性层压缩到与标准单时间嵌入相同的维度，然后喂给adaLN层。这样在不增加参数量的前提下实现了多时间条件的支持。

七、数独游戏里的压力测试——极限少步生成

研究团队选择数独（Sudoku）作为第一个测试场景，原因颇为有趣：数独是一个有严格约束的逻辑推理任务，每个空格的答案与其他空格强烈相关，完美地暴露了"独立采样多个token"的问题所在。

测试设定是9×9数独，约25个格子作为已知输入，其余56个格子需要模型填写，评估指标是"整块棋盘完全正确"的比例。测试了2步、4步、8步、16步四种生成预算。

对比方法包括：基于遮盖的离散扩散（随机揭盖和按熵值揭盖两种策略）、全局时间连续扩散（不使用时间翘曲和使用时间翘曲两种变体）、以及TTCD的两种变体（随机排名和基于熵的排名）。所有方法都在相同的小型6M参数Transformer上训练100个epoch。

结果相当清晰。在最极限的2步生成场景下，离散遮盖模型（随机策略）的准确率仅0.62%，几乎等于乱猜；离散遮盖模型（熵策略）有11.65%；连续全局时间模型接近0%；而TTCD（基于熵的排名）达到了31.51%，在所有方法中遥遥领先。

在4步生成时，TTCD达到61.33%，而最佳离散基线（熵策略）达到68.29%，两者接近。在8步和16步时，离散熵策略凭借足够的步数占据优势（92.90%和97.30%），而TTCD分别为65.85%和68.46%。

这个结果验证了核心假设：在极少步数的情况下，连续空间+per-token时间的组合能有效规避因式分解问题，同时基于熵的排名分配能让模型在第一次前向推理后就正确识别出"容易的格子"和"难的格子"，赋予合理的去噪顺序。

八、在真实语言上的较量——OpenWebText上的规模化实验

研究团队将TTCD扩展到160M参数规模，在OpenWebText数据集上进行了1M步的完整训练，并对蒸馏版本进行了系统性评估。

评估分为两种模式。无条件生成模式下，模型需要凭空生成1024个token的文本，不依赖任何输入提示。前缀条件生成模式下，模型接收1024-K个token的干净前缀，生成后续K个token（K分别取32和128两种设定），更接近实际应用场景。

评估指标使用了"生成困惑度"（Generative PPL）和"文本熵"的组合。生成困惑度由GPT2-large模型评估，数值越低意味着生成文本越像真实人类写作；文本熵衡量词汇多样性，数值越高说明生成文本越不重复。一个好的模型应该在这两个指标上都表现良好，即位于"困惑度低、熵值高"的右下方区域。研究团队通过调整推理参数（采样温度和初始噪声标准差）来描绘每个模型的表现曲线，提供更全面的性能图景。

对比的方法涵盖非蒸馏和蒸馏两组。非蒸馏组包括MDLM（遮盖离散扩散）、Duo（均匀噪声离散扩散）、FLM（连续空间离散生成扩散，即Flow Map LM），以及TTCD。蒸馏组包括Duo w/ DCD（蒸馏版Duo）、FMLM（蒸馏版FLM），以及TTCD w/ Shortcut。

在无条件生成实验中，TTCD在4步和8步生成时与Duo表现相当，并优于MDLM；而在16步和32步时，TTCD与Duo的差距进一步缩小。与FLM的对比尤为显著：FLM在改变推理参数时表现极不稳定，文本熵的可调范围很窄，且在某些参数设置下会出现严重的重复（熵值趋近于0）；TTCD的表现则平稳得多，在更广泛的参数范围内都能维持正常的文本多样性。

在蒸馏版本的对比中，TTCD w/ Shortcut在1步到4步的生成中优于Duo w/ DCD，与FMLM相比也有竞争力，且在文本熵的可调范围上明显更宽。一个具体的数字：在4步蒸馏生成时，TTCD w/ Shortcut的生成困惑度在温度1.0时约为249，而Duo w/ DCD约为305，FMLM约为112但文本熵仅约5.37（相比TTCD的5.56），说明FMLM以牺牲多样性换取了较低的困惑度。

前缀条件生成的结果更为突出。在32 token画布的2步生成（相当于16倍加速）场景下，TTCD w/ Shortcut的表现全面优于所有基线。FLM在这个任务上几乎完全失效，生成的文本熵值低于3（极度重复），甚至超出了图表范围。这印证了per-token时间在处理输入/输出不对称场景时的天然优势：提示词直接被赋予时间=1，无需特殊处理；待生成词从时间=0出发，完全与提示词区分开来。

研究团队还提供了定性生成样本作为辅助说明，可以看到TTCD（包括蒸馏版本）在不同步数下都能生成语义连贯、词汇多样的文本，尽管在2步这种极端加速下语义连贯性仍不如步数较多时的版本。

九、分子设计上的迁移——QM9数据集上的分类引导实验

除了语言任务，研究团队还在分子生成任务上验证了TTCD的迁移能力，使用的数据集是QM9（一个包含小分子结构的化学数据集）。

测试场景是"分类引导生成"（classifier-free guidance）：在生成分子时，同时优化分子的某个化学属性（此处为环计数，即分子中苯环等环状结构的数量），引导系数从1到5变化。评估指标包括生成的新颖分子数量（在1024次生成中，不重复的新分子有多少）和新颖分子的平均环计数。

对比方法包括UDLM（均匀噪声离散扩散）、MDLM（遮盖离散扩散）、全局时间连续扩散，以及TTCD（per-token时间连续扩散）。

结果显示，连续空间方法整体优于离散方法，能生成更多新颖的有效分子。在连续方法内部，TTCD相比全局时间连续扩散进一步拓展了性能边界——在引导强度变化时，TTCD能在更高的环计数水平下维持更多的新颖分子数量。此外，无论是2步、8步还是32步生成，TTCD的性能边界都持续优于全局时间连续方法，证明per-token时间的优势不依赖于特定的生成步数，也不局限于文本领域。

说到底，TTCD讲述的是一个关于"差异化对待"的故事。在AI领域，很长一段时间里，我们习惯于用统一的流程处理所有内容：同一个噪声水平、同一个去噪速度、同一个时间表。这种整齐划一的方式有其美学吸引力，但它忽略了一个基本事实：内容本身是有差异的，有些词天然比其他词更容易确定，有些位置的信息比其他位置更早明朗。

TTCD所做的，就是把这种差异性纳入模型设计的核心。用一个通俗的说法：现有模型像是一个整齐的合唱团，所有人必须同步出声、同步停止；TTCD则更像一支爵士乐队，每件乐器都有自己的节奏，但整体上保持协调，最终奏出一曲有层次感的乐章。

这项研究目前的局限性也值得坦率面对：实验规模最大只到160M参数，与业界动辄数十亿参数的主流模型相比仍是小体量。是否能在更大规模下保持性能优势，仍是一个开放问题。此外，尽管TTCD在少步生成场景下表现出色，但在步数较多（如32步以上）的场景下，与最优基线相比的优势趋于收窄，说明per-token时间的收益主要集中在"压缩步数"这一维度。

对于想进一步探索的读者，可以考虑这样几个方向：per-token时间的理念能否迁移到离散扩散模型中（论文末尾也提及了这一方向）？在代码生成、数学推理等结构性更强的任务上，per-token时间的差异化处理是否能带来更显著的收益？排名分配策略除了基于熵之外，是否存在更优的方案？

完整论文可通过arXiv编号2607.14106v1检索，有兴趣的读者可以直接在arXiv平台上找到所有技术细节和实验数据。

Q&A

Q1：TTCD与传统离散扩散语言模型相比最大的区别是什么？

A：传统离散扩散模型在生成时需要同时对多个词做独立决策，容易产生词语之间不协调的问题，在少步生成时尤为明显。TTCD在连续空间中操作，词语的"坐标"在变成最终答案前始终保持模糊状态，不需要在中途做出离散决策，从根本上规避了这个问题。同时，per-token时间让部分词先变清晰，为其他词提供参考，进一步提升了生成质量。

Q2：TTCD的per-token时间在前缀条件生成任务中如何发挥作用？

A：在前缀条件生成任务中，已知的输入提示词直接被赋予时间等于1的状态，也就是完全"干净"状态，整个生成过程中始终保持真实词向量不变。待生成的词从时间等于0的纯噪声出发，逐步推进。这样模型始终能看到完整干净的输入，而不是把输入和输出放在同一个噪声水平下混淆处理，使得条件生成的准确性大幅提升。

Q3：TTCD的快捷蒸馏是如何实现少步高质量生成的？

A：快捷蒸馏的基本思路是让模型学会"跳步"：让一大步的生成效果等同于两个小步叠加的效果。训练时，模型同时接收起始、中间、终止三个全局时间作为条件，学习在时间区间内的"平均流速"，目标是让一步预测结果与两步展开结果保持一致。经过5万步微调后，蒸馏版TTCD能在极少步数（1到4步）内完成高质量生成，在少步场景下优于对比的离散蒸馏基线。