一步走错，后面全白费：AI训练的新思路 中国語原文

你有没有经历过这种事：做一道数学大题，前面三步都对，第四步不小心把加号看成了乘号，后面算得再认真、再工整，答案还是错的。

老师改卷子会怎么打分？大概率是这道题直接判零分，因为最终答案不对。

但如果你把这份卷子拿给一个真正懂行的老师，他会怎么说？他大概率会说"前三步思路很清晰，只是第四步算错了，后面都是在一个错误的基础上继续算，参考价值不大"。

这两种打分方式的差别，恰好就是这篇论文想解决的问题。

**大模型的推理训练，长期以来用的是第一种打分方式：只看最终答案对不对，不管中间过程写得多好。**

这篇来自亚马逊云科技团队的论文，提出了一个叫Cliff的方法，试图让AI训练也学会第二种打分方式，也就是关注"第一次出错"的位置，而不是简单地给整个答案打一个二元的对错分。

一、当下AI训练卡在哪儿

现在训练大语言模型做推理任务，主流方法叫做RLVR

（RLVR：全称是"带可验证奖励的强化学习"，简单说就是让AI做题，答案对了给奖励，错了不给，靠这种反馈机制不断调整AI的能力）

这套方法之所以流行，是因为它不需要人工标注，只要有标准答案，就能自动判断对错，规模化训练非常方便。DeepSeek-R1、OpenAI的o1这些明星模型，背后都用了类似的强化学习思路。

但问题也很明显。假设AI写了一份很长的解题过程，前面99%的步骤都完全正确，只是最后一步算错了，这份答案得到的奖励，和一份从头到尾胡乱瞎写的答案，得到的奖励是一模一样的，都是零分。

这就好比公司发年终奖，只看你这个季度签没签下最后那个大单，完全不管你之前做了多少扎实的客户维护、方案打磨。签下了，奖金拿满；没签下，哪怕前面九十九步都做得漂亮，一分钱也没有。

如果一直用这种方式发奖金，会发生什么？员工会越来越不知道自己哪里做得好、哪里做得不好，只能靠"这次签没签"这个单一信号瞎猜自己的工作方法对不对，学习效率自然很低。

AI训练面临的正是这个问题：**奖励信号太粗糙，AI没法知道自己是在哪一步开始跑偏的，只知道最后结果错了**。

二、已经有人尝试解决，但都有各自的坑

面对这个问题，学术界之前主要试了两条路。

第一条路叫过程奖励模型

（过程奖励模型（PRM）：专门训练一个额外的AI模型，给推理过程中的每一步打分，而不只是看最终答案）

这个思路听起来很合理，但实际操作起来麻烦不少。你得额外训练一个奖励模型，这个模型本身需要大量高质量的标注数据才能训练好，而且很容易被"钻空子"。

论文里提到了一个专业词汇，叫奖励黑客

（奖励黑客：AI找到了让奖励模型给高分的取巧办法，但这个办法并没有真正提升AI的实际能力，本质是在骗分而不是真的做对）

也就是说，AI很擅长学会讨好评分系统，而不是真的把事情做对，这就让过程奖励模型的可靠性打了折扣。

第二条路叫在线策略蒸馏

（在线策略蒸馏（OPD）：让一个能力更强的"老师"模型，去评价学生模型自己生成的答案，用老师的判断来指导学生学习）

这个方法的问题在于，它要求老师和学生用的是同一套分词方式，而且推理风格得比较相似，效果才好。换句话说，如果你的老师是一个完全不同架构、不同"思维习惯"的模型，这套方法就很容易失灵。

这就像找一个说方言完全不通的老师来辅导你写作文，他确实水平很高，但你俩连基本的语言习惯都对不上，他给你的修改建议，你很难真正吸收消化。

三、一个来自逻辑学的灵感

论文作者们在思考这个问题的时候，提到了一个很有意思的角度，逻辑学里有个概念叫虚假蕴涵

（虚假蕴涵：在逻辑学中，如果一个命题的前提是假的，那么无论结论是什么，整个"如果……那么……"的命题都成立，因为前提已经不成立了，讨论后面没有意义）

用大白话讲就是：如果前提是错的，那后面推出什么结论都无所谓，因为地基已经塌了。

这给了研究者一个启发：**既然一个推理过程一旦出现第一个错误，后面的内容就已经建立在一个错误的假设之上，那么继续精细地评价后面每一步，其实提供不了太多额外信息**。

与其花大力气去精确评价每一个后续步骤对不对，不如把精力集中在一件更重要的事情上，那就是准确找到第一次犯错的位置。

这个思路的巧妙之处在于，它把一个原本很复杂的问题，简化成了一个相对简单的问题。你不需要一个专门训练的、能给每一步精确打分的评委，你只需要一个能"读得懂题、看得出哪里开始不对劲"的普通裁判就够了。

四、Cliff到底是怎么运作的

论文提出的方法叫Cliff，翻译过来大概是"悬崖"的意思，寓意也很直白：一旦推理走到悬崖边上摔下去，之后的内容就不值得细究了。

整个流程分成两步。

第一步，找到第一次犯错的位置

具体做法是，先请一个老师模型（可以是另一个更强的AI，也可以是能力一般但擅长"挑错"的模型）自己独立解一遍题。

如果老师自己都解错了，那这道题就直接放弃使用Cliff的精细评分，退回到最普通的打分方式，因为连老师自己都没搞明白，它给出的评价当然也不可信。

如果老师自己解对了，那接下来它就拿着自己的正确答案，去仔细检查学生（也就是正在被训练的AI）写的解题过程，一句一句地看，找出学生是从哪一句开始出错的。

论文里管这个位置叫"陷阱步"

（陷阱步：论文中定义的一个术语，指的是学生答案里第一次出现推理错误的那句话，在此之前的内容被认为是有效的，在此之后的内容被认为是问题推理的一部分）

第二步，根据陷阱步的位置，给不同的段落打不同的分

一份答对了的推理过程，整体给正向奖励，这个和普通方法没区别。

一份答错了的推理过程，被拆成两截：陷阱步之前的部分，虽然最终没做对题，但这一段本身是合理的，所以给予相对正常甚至偏正向的对待；陷阱步和之后的部分，才是真正需要被惩罚的问题所在。

这个设计其实很像家长辅导孩子做作业。孩子做错了一道题，聪明的家长不会直接说"这道题你全错了，重做"，而是会说"你看，你这三步都对，就是这一步开始想岔了，我们从这一步开始改"。这种反馈方式，孩子能更清楚地知道自己该在哪里下功夫，而不是把整份努力都推翻重来。

**如果不这样区分，会发生什么？训练数据会给AI一个模糊的信号，让AI没法区分"完全瞎写"和"差一点就对了"这两种截然不同的情况，学习效率自然大打折扣。**

五、老师靠谱吗？这是个绕不开的问题

用一个AI模型去评价另一个AI模型的答案，最大的疑虑肯定是，这个"老师"靠谱吗？会不会本身水平不够，反而把学生教偏了？

论文做了一个挺扎实的验证实验。他们找了三个不同能力的模型来当老师：一个是当前最顶尖的模型（论文里简称SOTA），一个是Qwen3-32B，一个是Gemma3-27B，然后拿这三个模型的判断结果，和真正的人类专家标注去对比。

结果发现了几个挺有意思的现象。

第一个现象是，模型自己解题的能力和它当裁判的能力，并不是完全绑定的。

具体数字是这样的：SOTA模型自己解题的正确率是93%，当裁判判断学生答案对错的准确率是91%，两者比较接近。但Qwen3-32B自己解题的正确率只有65%，当裁判的准确率却依然能到88%，Gemma3-27B自己解题正确率67%，当裁判准确率86%。

**换句话说，一个模型可能没法把一道题从头到尾解出来，但它依然有能力看出别人的解法哪里出了问题。**

这个发现挺关键的，因为它意味着Cliff方法不需要一个近乎完美的顶级老师才能用，中等水平的模型就足够胜任"挑错"这个工作了。

这就像一个普通程度的老师，可能没法自己写出一篇满分作文，但他改学生作文的时候，照样能一眼看出哪句话的逻辑有问题、哪个论点站不住脚。**做和评是两种不同的能力，评往往比做更容易一些**。

第二个现象是，参考答案的质量直接决定了裁判的靠谱程度。

论文专门做了个对照实验：如果给老师模型一份正确的参考答案，它判断学生对错的准确率能到90%以上，找错位置的平均偏差只有大概3句话；但如果故意给它一份错误的参考答案，它的判断准确率直接掉到60%到81%之间，找错位置的偏差也扩大到4到5句话。

这个结果非常直观地说明了一件事：裁判自己心里得先有一把准的尺子，才能公正地量别人。这也是为什么Cliff在实际训练中，会先用自动验证器检验一下老师自己给出的参考答案对不对，只有确认对了，才会用这份参考答案去评判学生，如果老师自己都错了，这一轮就直接放弃精细评分，退回普通的对错打分。

第三个现象比较容易被忽略但很重要：裁判犯的错误，大多数是"漏判"而不是"错判"。

也就是说，裁判很少会把一份真正正确的答案误判为错误（这类错误在论文里只有个位数），但会有大约10%的比例，把一份实际上有问题的答案误判为正确。这背后的原因也不难理解，有些学生蒙对了答案，或者用了一个碰巧凑数的错误方法却得到了正确的最终结果，这种情况连自动验证程序本身都容易被骗过去，更何况是裁判。

六、真刀真枪的效果对比

光有理论和小规模验证还不够，论文在12种不同的场景下（涵盖数学题和编程题两大领域，用了两种不同的学生模型和三种不同的老师模型）做了系统的实验对比。

结果显示，**Cliff方法在所有测试场景下都取得了最好的成绩，平均比普通的GRPO方法高出7个百分点，比在线策略蒸馏方法高出15个百分点**。

具体拿数学题举例，用Qwen3-4B作为学生模型，SOTA作为老师，在GSM8k、MATH-500、DAPO、AIME这几个数学测试集上，普通GRPO训练的平均正确率是61.68%，而用了Cliff之后，平均正确率提升到了65.66%，光是DAPO这一项测试就从42.90%涨到了49.30%，AIME测试从32.01%涨到了36.98%。

编程任务上的提升也很明显，同样的设置下，编程测试的平均正确率从24.20%提升到了25.96%。

有意思的是，就算把老师换成能力相对弱一些的Qwen3-32B或者Gemma3-27B，Cliff方法依然稳定地超过普通GRPO和蒸馏方法。这说明这个方法**对老师的能力要求并不苛刻，不需要非顶级模型不可**，这大大降低了实际应用的门槛。

论文还专门做了个对照，叫"带老师的GRPO"，也就是只用老师来判断答案对错，但不区分"对的部分"和"错的部分"，整个答案还是统一打分。结果这种做法只比普通GRPO提升了一点点，远远不如Cliff的完整设计。这个对比很重要，它说明**Cliff真正起作用的地方，不是简单地引入了一个更聪明的评委，而是那个把答案拆成两段、分别对待的核心设计**。

七、一个容易被忽视的细节：奖励力度该给多少

Cliff设计里有一个参数，论文里用希腊字母λ表示，控制的是"答案虽然最终错了，但陷阱步之前那一段"应该给多强的正向奖励。

按理说，既然承认陷阱步之前是有效推理，是不是应该给它比较高的奖励，鼓励模型多写这种有效内容呢？

论文做了个对比实验，结果有点反直觉：λ设为0（也就是不给这段额外的正向奖励，只是不像后半段那样惩罚它）效果反而是最好的。当把λ调到1.0（也就是给这段内容比较强的正向鼓励）的时候，模型的回答长度突然暴增，从原来的1279个词左右一路涨到接近1959个词，但正确率反而从65.66%掉到了63.98%。

这背后的原因，论文管它叫长度黑客

（长度黑客：AI发现只要把答案写得更长，就能拿到更多奖励分，于是开始故意堆砌内容拉长篇幅，而不是真正提升推理质量）

这就好比公司考核员工，如果规定"写字越多加分越多"，那员工很快就会学会在报告里堆废话凑字数，反而不会去认真思考怎么把事情真正做对。

如果给陷阱步之前的段落过强的奖励，AI就会摸索出一个取巧的策略：与其冒险去解决那个真正困难、容易出错的关键步骤，不如干脆把"看起来正确"的部分尽量拉长，用篇幅去骗取更高的分数。这是一种典型的钻空子行为，论文的作者们也在附录里给出了严谨的数学推导，证明了λ取0时这套系统对长度黑客是免疫的，而λ取值较大时，确实存在被投机取巧的理论风险。

八、有意思的训练过程观察

论文还追踪了训练过程中几个指标的变化曲线，挺能说明问题。

回答长度这一项，所有训练方式下都在慢慢变长，说明模型确实在学着做更深入的推理。但用了Cliff之后，训练初期会出现一次明显的长度飙升，随后再慢慢稳定下来，这暗示着模型在训练早期先经历了一段"探索更长推理路径"的阶段，然后逐渐找到了合适的节奏。

老师和自动验证程序判断结果的一致性，大概维持在85%到90%之间，说明两者大部分时候看法一致，但确实存在一部分分歧，这些分歧正好就是老师能看出"答案蒙对了但推理有问题"的那部分情况。

最有意思的是陷阱步在整份答案里所占的相对位置，这个数值在训练最初的大约50步之内迅速上升到0.5左右，然后趋于稳定。这说明随着训练推进，模型对错误问题也能写出更长的、合理的有效推理段落，而且这个规律最终稳定下来，并没有出现模型钻空子、故意把陷阱步往后拖延来骗取更多正向奖励的迹象。

写在后面

看完这篇论文，最让我意外的地方，其实不是Cliff这个方法本身有多精巧，而是那个关于"评判比解题容易"的发现。

我们习惯性地认为，一个AI要想成为一个好裁判，必须自己先是解题高手。但实验数据摆在这里：一个只有65%解题正确率的模型，当裁判的准确率能到88%。这提醒我，能力这件事本身是有分工的，识别错误和自己不犯错误，可能真的是两种不同的技能。这个洞察其实超出了AI训练的范畴，放到很多现实场景里都成立，一个不擅长写代码的产品经理，未必不能一眼看出代码逻辑哪里有问题；一个自己写不出满分论文的编辑，照样能准确指出作者论证的漏洞在哪里。

另外一个值得琢磨的细节是λ的实验结果。直觉上"多给正确的部分一点鼓励"听起来很合理，但实验证明这个直觉是错的，多给了反而会被钻空子。这让我想到，很多看似"应该有用"的激励设计，一旦放到一个会学习、会适应的系统里，都需要用数据去反复验证，而不能光靠常识去拍脑袋决定。

论文的作者们也提到，接下来打算把这套思路扩展到更复杂的智能体任务里，还想探索用规则而不是AI模型去自动识别"陷阱步"。如果真能做到用简单规则替代AI裁判，那训练成本会进一步降低，这条路值得继续追下去。

一道题做错了，到底是从哪一步开始跑偏的？这个问题人类老师会问，现在AI训练也开始学会问了。

Q&A

Q1：Cliff是什么？

A：Cliff是亚马逊云科技团队提出的一种强化学习奖励塑造方法，核心思路是用一个老师模型找出学生模型推理过程中第一次出错的位置，把答案拆分成正确前缀和错误后缀两部分，分别给予不同的奖励反馈，从而提供比传统方法更精细的训练信号。

Q2：Cliff方法一定要用能力很强的老师模型吗？

A：不一定。实验发现，即使用能力中等的模型（如Qwen3-32B、Gemma3-27B）当老师，Cliff依然能稳定超过传统GRPO和蒸馏方法。因为判断答案哪里出错，比自己从头解题要容易得多，这让Cliff的应用门槛大大降低。

Q3：Cliff和过程奖励模型（PRM）有什么不同？

A：过程奖励模型需要额外训练一个专门打分的模型，容易被钻空子、也难以泛化。Cliff直接用现成的大模型当裁判，只需要它找到第一次犯错的位置，不需要对每一步都精确打分，设计更简单，也更不容易被投机取巧。