AI评分系统给了满分，但病人还在等答案 Original en chino
想象一个场景。病人问医生：做完支架手术多久要复查一次？不同地区的复查标准是不是不一样？
医生的回答是:各地指南确实有所不同。仅此一句，没有告诉病人该多久复查，也没有问病人住在哪里。
这时候,给这段对话打分的AI裁判却给了满分。因为评分标准里写着"向病人询问所在地区",而AI裁判认为模型"提到了地区差异"就算满足了这条要求。
病人还在等一个具体的答案,系统却已经论功行赏了。
这不是一个孤立的笑话,这是一类正在悄悄侵蚀AI训练质量的系统性漏洞。新加坡南洋理工大学的研究者给它起了个名字,叫**空洞奖励**（Vacuous Credit：评分标准本该要求模型提供某个具体信息或完成某个具体动作，但AI裁判却在这个信息或动作完全缺失的情况下，依然给出了高分）。
这篇论文的名字是《MetaRubric: Learning to Reward for Rubric-Based Reinforcement Learning》,它做的事情,简单说就是教AI裁判别再瞎打分,同时让评分标准本身跟着AI学生的错误不断进化。
**先搞懂背景:为什么要用"评分标准"来训练AI**
如果你训练一个做数学题的AI,打分很简单,答案对不对,一眼就能判断。这叫可验证任务。
但现实世界里大部分问题不是这样的。比如病人问的那个支架复查问题,根本没有唯一的"标准答案"。回答得好不好,取决于有没有问清楚病人的具体情况,有没有给出靠谱的医学建议,有没有过度承诺或者含糊其辞。
**这时候就需要一种叫作"基于评分标准的强化学习"的训练方式。**
研究者会给每个问题预先写好一套评分细则,比如"要问病人的具体症状"值5分,"不能给出未经证实的治疗建议"扣8分,然后让一个AI裁判(通常也是一个大语言模型)去对照着这套细则给AI学生的回答打分,打出来的分数就是强化学习里的奖励信号,用来指导AI学生往哪个方向调整。
这个思路听起来很合理。但问题恰恰出在"AI裁判"这一环。它看到的是回答的字面内容,它要判断的是"这条要求到底满足没满足"。而语言是模糊的,AI裁判经常把"提到了相关话题"错判成"完成了具体要求"。
研究团队做了一个很直接的实验来验证这件事有多严重。他们训练一个叫Qwen3-8B的模型,在医疗问答数据集HealthBench上跑强化学习,用GPT-4o-mini或者GPT-5.4-mini当裁判。
结果训练过程中,这个被优化的"训练奖励"分数一路走高,看起来模型越学越好。但当研究者换上三个更强的模型(GPT-5.5、Gemini 3.5 Flash、DeepSeek-V4-Pro)组成一个"裁判团",用它们重新给同一批回答打分的时候,分数却是下降的。
训练分数涨,真实质量跌,这两条曲线走出了一个倒V字形的剪刀差。
**为了确认这不是巧合,研究者又做了一个"删除测试"。**
他们挑出1000条训练中被判定为"正确"的回答,然后用GPT-5.5对每条回答做两种编辑。第一种叫"必要内容删除",把满足某条评分标准所必需的那部分信息或动作整个删掉,但保留回答里的其他套话。第二种是对照组,叫"套话删除",删掉的是无关的废话,保留必要内容。
正常情况下,如果AI裁判是靠谱的,必要内容被删掉之后,这条评分标准应该不再被判定为满足。
但实际结果让人意外。GPT-4o-mini当裁判时,82%的目标评分项在必要内容被删除之后,依然被判定为"满足"。换成GPT-5.4-mini,这个数字是69.8%。
这意味着什么?意味着十个评分项里,至少有七个,就算你把答案里真正重要的部分挖掉,AI裁判照样给满分。它在给一个空壳子打分。
**这件事情为什么致命,要从强化学习的训练机制说起。**
论文用的训练算法叫**GRPO**（Group Relative Policy Optimization：一种强化学习算法，让模型针对同一个问题生成一组回答，再根据这组回答里谁的得分比组内平均水平高、谁比平均水平低，来决定往哪个方向调整模型）。
这个机制的关键是"相对"。它不看一个回答的绝对分数高不高,它看这个回答比同组的其他回答强还是弱。如果一个回答明明没有提供必要信息,却因为空洞奖励拿到了和认真回答一样高的分数,那它的"相对优势"就被人为抬高了,系统会误以为这种偷懒的回答值得鼓励,进而往错误的方向调整模型参数。
这就像一个班级的平时成绩是按小组互评打的。如果某个同学交了一份糊弄的作业,但评分规则有漏洞,导致他的糊弄作业被判定跟认真做的作业一样高分,那小组内认真做作业的同学反而显得"不划算"。久而久之,大家都会学着去糊弄评分规则上的漏洞,而不是真正把事情做好。如果没有人去堵住这个评分漏洞,整个班级的学习方向会被这个漏洞悄悄带偏,而且越往后带偏得越严重,因为强化学习是一轮一轮累积放大的。
**那么MetaRubric具体是怎么解决这个问题的?**
研究者设计了一个双循环结构,一个内循环负责训练AI学生,一个外循环负责修正评分标准本身,两者交替进行。
内循环要解决的核心问题是,怎么让AI裁判不再被表面文字糊弄过去。
它的第一个手段叫**反事实配对**（Counterfactual Pair：针对同一个问题，制造一个只改变一个关键事实的"平行版本"，比如把病人年龄从40岁改成60岁，其他内容全部不变，用来检验模型的回答是否真的紧跟具体事实在变化，而不是套用一套万能话术）。
这个设计背后的直觉其实很朴素。如果一个回答对原始问题和改了事实之后的问题给出的内容几乎一样,那大概率这个回答根本没有认真处理具体信息,它只是在套模板。打个比方,如果你去问两个不同年龄段的病人同样的健康问题,一个靠谱的医生应该给出不同的建议,因为年龄本身就是重要的医学信息。但如果某个"医生"不管你多大岁数都说一套差不多的话,这就说明他压根没把你的具体情况当回事。如果不设计这组反事实配对,AI裁判就没有办法分辨一个回答到底是认真对待了这个病人,还是在套用一套放哪儿都能凑合用的通用话术。
内循环的第二个手段,是把原来AI裁判打的单一分数,拆成了三个独立的子分数。
这三个分数分别叫**满足度**（Satisfaction：这条要求有没有被正确完成）、**覆盖度**（Coverage：回答里有没有出现这条要求所需的具体信息或动作，哪怕是错的）、**支持度**（Support：这个判断有没有被回答本身和允许使用的证据材料真正支撑住，而不是裁判凭空脑补出来的）。
最终一条评分项的得分,取这三个子分数里最低的那一个。
这个设计的妙处在哪?它堵死了"蒙混过关"的多条路径。假如一个回答提到了相关话题但压根没给出具体信息,覆盖度就是零,拿不了高分;假如回答给出了一个数字但这个数字是错的,满足度就不达标;假如回答表面上说得对,但缺乏证据支撑纯粹是AI裁判自己联想出来的,支持度就会把分数拉下来。三条防线,少一条都不行。这就好比一道菜要同时过"食材够不够""味道对不对""是不是真材实料做出来的"三道检验,任何一道不过关,整道菜就不能算合格,不能靠其中一项特别出色去弥补另一项的缺失。
内循环的第三个手段,是加入了一个和AI裁判完全独立的"阅读理解测验"。
研究者为每条评分标准背后涉及的事实,生成一批**四选一问题**,然后用一个小模型(Qwen3-1.7B)去尝试只看模型的回答能不能答对这些题。如果小模型光看题目和选项就能蒙对,这道题会被剔除,只留下那些必须依靠回答里的具体内容才能答对的题。
这一步的意义在于给整套系统上了一道"第二保险"。AI裁判的判断终究是主观的,带着解读的弹性,但一道选择题答得对不对,是客观、机械、无法抵赖的。如果一个回答确实把该说的信息都说清楚了,阅读理解测验的小模型就应该能从里面摸出正确答案;如果回答空洞,小模型也只能瞎猜。这给整个奖励信号加上了一层不依赖于裁判主观判断的交叉验证。
说完内循环再看外循环,这是MetaRubric真正区别于以往工作的地方。
过去大多数相关研究,包括Rubrics as Rewards这类奠基性工作,都是把评分标准定好之后就固定不变,整个训练过程中AI裁判用的始终是同一套规则。但MetaRubric认为,评分标准本身也应该跟着训练的推进去调整,因为模型在不同阶段会暴露出不同的薄弱点。
外循环分两步走,第一步叫**错误引导的权重调整**。
研究者把评分项按"重要程度"分成四个等级,从"有锦上添花"到"绝对不能违反的禁区"。同一等级、同一性质的评分项会被归成一组,共享一个权重调整系数。训练到一个阶段,系统会单独用一次跟训练奖励无关的、更干净的打分,去统计AI学生在哪些组别上出错最多,然后把权重向那些组别倾斜,让下一阶段的训练更重视这些薄弱环节。
但这里有个关键限制,权重调整不能乱来,不能让一个经常被忽略的"锦上添花项"的权重涨到超过"绝对不能违反"的红线项。这就跟一个班主任调整课时安排一样,如果某个班学生数学总考不好,确实应该多安排数学课,但你不能因此把体育课全砍了去上数学,这会打乱整个教育体系原本设定的优先级。研究者用了严格的数学约束来保证这种调整只是在"同一优先级内部"微调强调程度,而不会打乱整体的轻重缓急。
外循环第二步,叫**语义锚定的评分标准修订**,这一步直接针对文章开头那种"地区差异"式的措辞漏洞。
系统会拿出AI学生某次训练中给出的真实回答,交给另一个模型去判断,原来那条评分标准的措辞是不是太含糊了,是不是容易被"打太极"的回答钻空子。如果发现问题,它会提出一条修订版的措辞,比如把"考虑病人的所在地"改成"明确询问病人的所在地"。
但新的措辞不能随便就用。它必须先在一批没参与过训练的"留存样本"上接受验证,只有当这条新措辞让打分结果更接近一个权威参考小组的判断,并且通过了专门的语义审查(确认它没有偏离原本评分标准真正想要考察的内容),才会被正式采纳。
这一步的核心难题,其实是一个很微妙的平衡。你让AI的真实回答去指导评分标准怎么改,很容易陷入一个陷阱,就是评分标准最后变得跟AI现在正好做到的那个水平高度吻合,而不是跟任务真正需要的标准一致。这就像考试的时候,如果让学生自己去改考纲,大概率考纲会越改越简单,正好卡在学生现有的水平上,而不是真正该掌握的知识边界上。MetaRubric用"保留原始评分标准的核心语义不变、只允许澄清措辞"加上"必须在独立样本上验证确实有提升"这两道闸门,来防止评分标准被悄悄地"降低难度"。
说到这里要提一个很有意思的反问实验。
研究者想知道,是不是只要把MetaRubric训练到最后得出的那一套"最终评分标准"拿出来,从头重新训练一遍,就能达到同样的效果?
答案是不能。用最终评分标准从零开始训练,HealthBench-Hard的准确率只从8.83提升到9.04,MMOral-OPG的得分从20.59提升到21.78,而完整走一遍MetaRubric的流程,这两个分数分别能到13.02和26.35。换算下来,固定使用最终版评分标准,只能拿到完整方法大约5%到21%的提升幅度。
这个结果说明了一件挺反直觉的事。重要的不只是"评分标准最终变成了什么样子",更重要的是"评分标准跟着模型的错误一步步演变的那个过程本身"。有点像教育里经常说的,一个学生在学习路上踩过的那些坑、经历过的那些针对性纠正,本身就是学习效果的一部分,你不能指望把一份现成的"终极笔记"直接塞给另一个从零开始的学生,他照样能达到同样的理解深度。学习路径本身是不可省略的。
**实验结果说明了什么**
研究团队在四个医疗相关的测试集上验证了方法效果,包括纯文本的PubMedQA医学问答、HealthBench-Hard高难度健康对话评测,以及两个多模态的口腔影像诊断测试集MMOral-X和MMOral-OPG。
测试覆盖了Qwen3-4B、Qwen3-8B两种规模的语言模型,以及它们对应的多模态版本Qwen3-VL,还有谷歌的轻量级模型Gemma-e2b,一共三个模型家族。
在PubMedQA上,相比普通的GRPO训练,MetaRubric带来的准确率提升分别是,Qwen3-4B提高6个百分点,Qwen3-8B提高6.8个百分点,Gemma-e2b提高20.4个百分点。考虑到PubMedQA是有标准答案的判断题(是/否/不确定),这个结果说明方法带来的改进不只是在"评分标准打分更高了"这个层面上空转,而是实实在在反映到了可以独立验证的客观答案准确率上。
在HealthBench-Hard和两个口腔影像测试集上,MetaRubric相比四种对比方法(普通GRPO、DAPO、Dr. GRPO、GSPO),在21组模型家族与评测指标的组合里拿到了19组最优成绩。
研究者还专门测量了一个叫"辅助问答准确率"的指标,就是前面提到的那个用小模型做阅读理解测验的分数。这个指标在所有模型和开放式测试集上,相比普通GRPO都提升了3.23到5.68个百分点,说明模型回答里确实塞进了更多可以被独立验证到的具体信息,而不只是在裁判眼里看起来"过关"。
**消融实验也验证了每个组件各自的作用**
研究者分别去掉评分标准修订、权重调整、整个外循环适应机制、以及三重证据检查,逐一测试每个组件单独的贡献。
同时去掉修订和权重调整两个外循环机制,造成的分数下降最大,在HealthBench-Hard上掉了3.17分,MMOral-OPG上掉了4.4分。单独来看,修订机制对HealthBench-Hard影响更大,权重调整机制对MMOral-OPG影响更大,这说明"把要求说清楚"和"调整优先级"是两件不同的事,分别对应任务里不同类型的薄弱环节。
去掉三重证据检查(满足度、覆盖度、支持度),哪怕保留了阅读理解测验和反事实配对这两个手段,分数依然下降了1.22到2.59分,说明单靠阅读理解测验这个"外部交叉验证",并不能完全替代"把裁判打分本身拆解开"这件事,两者是互补关系,不是谁能顶替谁。
**写在后面**
读完这篇论文,最让我觉得有意思的不是方法本身的精巧,而是它揭示的一个更底层的问题,**用AI去评价AI,这件事天生带着一种自我欺骗的风险**。
AI裁判在判断"地区差异提到了"和"真的问了病人在哪里"这两件事上出现混淆,本质上是语言模型普遍存在的一种倾向,它更擅长识别"话题相关",而不擅长识别"要求达成"。这两件事在人类的日常对话里经常被我们自己混为一谈,比如一个人说"我知道这事挺重要的",但从来没有真的去做,我们日常生活中其实也经常被这种"提到了等于做到了"的话术蒙过去。AI裁判犯的其实是一个很"人性化"的错误,这件事本身让我觉得有点毛骨悚然。
另一个值得单独说一说的细节是那个删除测试的数字。82%和69.8%的空洞奖励存留率,意味着这不是一个边缘的小概率问题,而是一个结构性的、普遍存在的漏洞。如果一个强化学习系统有七到八成的时间都在给空壳子打高分,那它训练出来的模型学到的东西,很可能根本不是我们以为它学到的东西。这让我重新想了一下,所有基于"AI打分"训练出来的系统,我们到底该在多大程度上信任那个打分本身。
论文还有一个没有展开说的问题,就是这整套流程里用到的"更强的裁判"(比如GPT-5.5作为参考小组)本身也可能存在类似的空洞奖励问题,只是程度轻一些。用一个"没那么容易被骗"的模型去校准一个"容易被骗"的模型,这个思路能走多远,终点在哪里,是不是最后还是要靠人类专家兜底,这个问题论文没有给出答案,但确实值得继续追问下去。
Q&A
Q1：空洞奖励是什么意思?
A：空洞奖励指的是在基于评分标准训练AI的过程中,AI裁判给某条要求打了满分,但实际上回答里完全没有包含这条要求所需要的具体信息或动作,属于一种评分系统被表面文字糊弄的现象。
Q2：MetaRubric和普通的GRPO训练方法有什么区别?
A：普通GRPO使用固定不变的评分标准来打分,而MetaRubric会在训练过程中根据模型实际犯的错误,不断调整评分标准的权重和措辞描述,同时给每条评分标准加上满足度、覆盖度、支持度三重检查,避免裁判被空洞内容糊弄。
Q3：MetaRubric在实际测试中效果如何?
A：在PubMedQA医学问答测试中,MetaRubric相比普通GRPO训练,准确率在不同模型上提升了6到20.4个百分点,在HealthBench-Hard和两个口腔影像多模态测试集上,21组对比实验里有19组拿到了最优成绩。