小模型能当裁判吗？一场关于强化学习奖励成本的实验

先问你一个问题。

如果你要训练一个AI模型写深度研究报告，怎么判断它写得好不好？数学题有标准答案，代码题能跑测试用例，可一篇论文该不该给9分还是7分，谁说了算？

过去几年，大模型圈子里流行的做法是：找一个更聪明的模型来打分。GPT-4o、GPT-5这种量级的裁判模型，逐条对照评分标准，给出Yes或No的判断，再汇总成一个分数当作强化学习的奖励信号。这套流程叫做基于评分标准的强化学习，听起来挺优雅，问题在于它贵得吓人。

想象你在开一家餐厅，每做一道菜都要请一位米其林大厨过来试吃打分，才能决定这道菜算不算合格。大厨确实专业，但请一次的成本够你雇十个学徒。强化学习训练一个模型往往需要成千上万次打分，每次打分还要对照好几条评分标准逐一判断，这笔开销滚雪球一样越滚越大。纽约大学和耶鲁大学的一组研究者就想搞清楚一件事：能不能换一个便宜得多的裁判，但打分质量不打折？

这就是这篇论文要回答的核心问题。

评分标准怎么打分：一个被忽略的细节

先弄清楚一件事。

大模型当裁判这件事，其实有两种玩法。一种是拿两个回答放在一起比较，让裁判说哪个更好，这叫成对比较*：给模型两份答案，裁判只需要选出胜者，不用说明每一处具体的好坏。这种方式简单粗暴，但有个致命缺陷：它把所有评判维度压缩成一个笼统的"谁赢了"，你根本不知道哪个回答在哪些地方做得好，哪些地方翻车了。

另一种是逐点打分*：给定一个问题、一份评分标准（rubric）里列出的具体条目，让裁判针对每一条判断这份回答是否满足要求。

评分标准（rubric）*：一份列出多条具体要求及其权重的清单，比如"是否提到了光合作用需要光能""是否说明了二氧化碳和水生成糖类"，每条要求分配不同权重，最后按权重加总算出总分。

论文选择研究逐点打分，因为强化学习里真正要用的就是这种精细颗粒度的信号。你想训练模型学会某种能力，光知道"这次输出比上次好"是不够的，你得知道具体是哪个环节进步了，哪个环节还在拖后腿。这就好比健身教练不能只告诉你"今天练得不错"，得告诉你深蹲姿势对了，卧推重量还不够，这样你才知道下次该往哪使劲。

但这里有个尴尬的现实：市面上现成的评测数据集，压根没有为这种逐点打分场景准备好。研究者翻遍了各种公开资源，发现要么有评分标准但没有针对具体回答的逐条标注，要么有多个候选回答但缺少权重化的评分规则。没有一个数据集同时具备四个要素：明确的评分条目、同一问题下的多个候选回答、每个回答对每条标准的满足标签，以及能算出加权总分的规则。

于是研究者决定自己动手做两套数据集出来。

PointRubric和RaR-Science-Static：两套量身定做的测试卷

PointRubric改造自一个叫OpenRubrics的开源资源，原始数据里的评分标准偏向成对比较，缺少逐条标注。研究者挑了3000道带有明确硬性规则的问题，把每条原始规则重写成统一格式：两条硬性标准加四条软性标准。硬性标准是必须满足的底线要求，软性标准衡量回答质量的细腻程度。

这个改写过程做得挺谨慎，研究者手工抽查了50个转换样本，发现47个都保留了原始评分标准的核心意图。剩下3个出问题的案例，都是因为压缩过程中漏掉了某个具体要求，而不是凭空捏造了新要求。这种一致性检验很重要，如果连改写这一步都不可靠，后面所有实验都是空中楼阁。

为了让每道题都能测出裁判模型的判断力，研究者为每个问题生成了四种角色的回答：满分回答、低分回答、部分符合评分标准的回答，以及完全不看评分标准写出来的回答。这四个角色不是简单地分成四档质量，而是刻意制造出分数分布的宽度，让满分和低分锚定两端，中间两种回答提供更丰富的中间地带变化。最终GPT-4o给这些回答的每一条评分标准都打上Yes或No的标签。

PointRubric最终包含1042道题、4168份回答、25008个回答与评分条目的配对标签，划分成417道训练题、104道开发题、521道留出测试题。

另一套数据集叫RaR-Science-Static，脱胎于RaR-Science，专门用来匹配后续强化学习实验的科学题目格式。它随机抽取1500道科学题，每道题保留原始参考答案，再加一份由Qwen3-4B生成的回答，一共凑齐3000份候选回答。评分标准数量在6到11条之间浮动，平均每题7.52条，这比PointRubric的固定六条格式更贴近真实的强化学习训练场景，因为真实场景里的评分标准长度本来就参差不齐。

判断标签同样由GPT-4o生成。为了严谨起见，研究者对这套操作性参考标签做了人工审计：抽取100份留出集里的回答进行盲测，覆盖600次逐条判断和50次成对比较，结果人工标注和GPT-4o的加权一致率达到90.9%，成对偏好一致率高达96.0%。分歧主要出现在完整性、具体性这类偏软性的质量维度，硬性事实和约束条件几乎不会产生分歧。

三种裁判方式：谁在小模型身上更靠谱

有了测试卷，接下来就是找答题人了。

研究者选了Qwen3系列的四个尺寸：0.6B、1.7B、4B、8B（参数量以十亿为单位）参数，测试了三种从同一个语言模型骨干里提取判断信号的方法。

生成式裁判*：直接让模型针对每条评分标准生成一个"是"或"否"的文字判断，解析出结果后汇总。这是最直觉、最贴近人类思路的做法，问题在于它依赖模型把内心判断准确表达成规范的文字输出，一旦格式解析失败或者表达含糊，判断就废了。

对数概率裁判*：不让模型生成完整文字，而是直接读取模型对"Yes"和"No"这两个词的下一个词元概率，取两者对数概率的差值作为软性打分依据。这种方式绕开了文本解析这道坎，理论上应该更稳。

探针裁判*：把语言模型的参数完全冻结，只在模型的某一层隐藏状态之上训练一个轻量级的线性分类器，用GPT-4o的标签作为监督信号，去预测这条评分标准是否被满足。

这三种方法的差异，其实反映了一个更根本的问题：模型"知道"一件事和模型"能说出"这件事，是两码事。

打个比方，你让一个刚学会说话的孩子判断两个苹果哪个更大，孩子可能心里清楚答案，但让他用完整句子表达"因为这个苹果的直径比那个苹果大约多两厘米"就困难得多。生成式裁判就相当于要求孩子说出完整的判断句，对数概率裁判相当于只让孩子指一指哪个更大，而探针裁判则是直接给孩子的大脑接上传感器，读取他做判断时的神经活动模式，完全不依赖语言表达能力。如果孩子内心的判断是准的，但表达渠道有噪声，探针这种绕过表达直接读取内部状态的方式就会赢。

实验结果印证了这个猜测，而且赢得相当悬殊。

在PointRubric这个格式统一、控制严格的数据集上，生成式裁判随着模型尺寸增长表现稳步提升，从0.6B的0.370加权准确率一路涨到8B的0.888。经过监督微调后，1.7B的生成式裁判甚至能冲到0.902，说明小模型完全能学会这种规范化的判断输出格式。

但在更贴近真实场景的RaR-Science-Static上，情况完全变了样。同样是1.7B的基础模型，生成式裁判和对数概率裁判分别只有0.443和0.449的宏观F1值，而探针裁判直接跳到0.835。研究者进一步做了一次逐条判断的对比分析，发现在4518个留出集的判断案例里，有33.0%的案例只有探针判断对了，生成式判断错了；反过来只有7.8%的案例是生成式对了探针错了。

这个差距说明什么？说明1.7B这种量级的小模型，隐藏状态里其实藏着比它嘴上说出来的更准确的判断，只是生成式和对数概率这两种读取方式没能可靠地把这份信号挖出来。

探针裁判在RaR-Science-Static上的所有模型尺寸里都是最强的，1.7B探针达到0.835，8B探针也只是0.864，差距并不悬殊，但8B的模型体积却大了将近5倍。这就让1.7B探针成了后续强化学习实验的天然候选：够小、够快，判断力却没打折扣。

研究者还额外测试了在换了回答生成模型（Mistral-7B、OLMo2-7B）的情况下，探针会不会失灵。结果是在这个扩展测试集上，探针依然保持0.741的宏观F1，生成式和对数概率则跌到0.394和0.424。可见这不是探针只认识特定几种回答风格的偶然表现，是一种相对稳健的能力。

论文还拿一个专门做成对比较的裁判模型Rubric-RM做了对照。这个模型直接预测两份回答里哪个更好，但研究者发现它经常输出无法解析的格式，PointRubric上的解析成功率只有62.7%和39.6%（对应4B和8B两个版本），如果把解析失败算作错误，准确率只有0.322和0.228，远远比不上探针的0.924。这说明成对比较接口在实际部署中经常翻车，逐点打分加上探针这种组合反而更可靠。

数据够不够，怎么设计探针

有了主角，还得给探针精细调校一下。

研究者做了一系列消融实验，测试探针需要多少训练数据才能达到不错的效果。结果显示，仅用100道训练题的探针就能拿到0.805的宏观F1，用满1000道题也只是涨到0.834，边际收益并不高。这意味着训练探针的成本可以压得很低，用500个响应大约只需要2.43美元的GPT-4o标注费用。

在结构设计上，研究者比较了线性分类头和更复杂的多层感知机，还比较了取最后一个词元的隐藏状态、取全部词元平均池化、取最后四层平均等不同的特征提取方式。结果是线性分类头加最后一个词元的方案已经足够强，复杂结构带来的提升很有限，唯独平均池化明显更差，从0.834掉到0.761。层数选择也不是靠碰运气找到某个孤立的最优层，而是在中后期层里存在一整片表现相近的平台区。

这套探针设计的哲学，其实和很多机器学习里"少即是多"的思路是一脉相承的。就像盖房子不一定非要用最贵的钢筋才能稳固，关键是找准承重点。这里承重的就是那个最后词元的隐藏状态，它已经把判断所需的信息浓缩进去了，再叠加复杂结构反而是画蛇添足。

裁判上岗：强化学习里的真实较量

有了裁判，接下来是真正的考验：这个探针裁判能不能在强化学习训练里实际派上用场，而不只是在静态测试集上考高分。

研究者用GRPO（一种强化学习算法）训练同一个Qwen3-4B基础模型，在完全相同的训练数据、优化器、响应预算、评分聚合规则下，唯一改变的变量就是奖励裁判本身。

不训练的基础模型，在RaR-Science评分标准下只能拿到0.232分。用1.7B探针作为奖励模型训练之后，分数飙升到0.643。作为对照，用8B生成式裁判训练出来的策略只有0.594分。

也就是说，体积小得多的探针裁判，训练出来的策略反而比更大的生成式裁判更强。这个结果本身就有点反直觉，毕竟静态测试里8B探针的准确率是略微高于1.7B探针的。研究者深挖了一下原因，发现更大的探针给策略生成的回答打分时，奖励值经常"饱和"，也就是几乎所有回答都能拿到接近满分，导致同一组内不同回答之间的奖励差距太小，GRPO算法失去了区分优劣的信号。

这就好比一场考试如果所有人都能拿99分，老师根本没法从分数上判断谁真正学得更好。奖励信号需要有区分度才能引导策略往正确方向优化，一味追求高准确率反而可能让信号变得扁平无用。

在效率对比上，探针的优势更加直观。截至比较检查点，8B生成式裁判累计消耗了89912.1秒的裁判计算时间，探针只用了8389.9秒，节省了10.7倍。在验证阶段，生成式裁判要花492秒，探针只要31.1秒，快了15.8倍。整个强化学习训练的实际耗时，生成式裁判需要11小时11分56秒，探针只需要8小时51分47秒。

这个耗时缩短的比例小于纯裁判时间的比例，是因为强化学习流程里还有生成回答、优化参数、保存检查点这些环节，不是所有时间都花在打分上。但即便如此，探针裁判依然是花更少时间训练出更强策略的那一方。

为了确认这个结果不是研究者自说自话，团队还做了一次盲测人工审计。100组由基础模型和探针奖励策略生成的对照回答，隐藏模型名称随机排序后让人工标注员打分，结果72例偏向探针策略，只有6例偏向基础模型，13例打平，9例无法判断。GPT-4o自己的评判结果是80比9偏向探针策略。排除掉人工打平和GPT-4o的完全并列情况后，人工判断和GPT-4o判断的一致率达到95.8%。

这个跨领域的一致性，也延伸到了迁移测试上。研究者把训练好的探针奖励策略拿到GPQA-Diamond这个完全不同的问答基准上测试，准确率从基础模型的0.335提升到0.388。另外，用RaR-Science的科学类评分标准训练出来的探针，直接拿到RaR-Medicine这个医学领域数据集上测试，无需重新训练，也能拿到0.718的宏观F1，虽然比专门用医学数据训练的探针（0.782）略低，但证明这份判断能力不是死记硬背某个领域的表面特征，而是学到了某种更通用的评判逻辑。

这个结果值得琢磨。训练评分标准判断能力时使用的领域是科学题，测试时换成医学题，探针依然保留了相当程度的判断力。这说明探针学到的可能不是"这道题该怎么答"这种具体知识，而更像是"一份回答有没有把要求的点讲清楚"这种更抽象的评判技巧，就像一个擅长审稿的编辑，换个学科依然能看出论文写得逻辑是否清晰，即便他未必精通那个学科的专业知识。

写在后面

读完这篇论文，最让我意外的一点不是探针比生成式裁判省钱，而是探针在8B这个尺寸上反而不如1.7B好用的那个发现。

按常理想，模型越大判断越准，用它做奖励应该效果越好，但论文里明明白白展示了8B探针会把奖励打得过于饱和，导致强化学习的组内区分度消失。这提醒我一件事：静态测试集上的高分和实际部署中的有效性，中间隔着一层没人默认会关注的鸿沟。一个裁判判断准不准，和它给出的分数是否具有足够的区分度来驱动优化，是两个完全不同的问题。前者考验的是准确性，后者考验的是奖励信号本身的信息量。

另外一个细节也值得单独说说。研究者提到用GPT-5生成候选回答的时候，经常拒绝写那些故意写得很差的低分回答。这个看似无关紧要的施工细节，其实透露出一个有意思的现象：越强的模型，越难被诱导去故意犯错。这倒是从侧面证明了对齐训练确实在起作用，只是这次它给做数据集的研究者添了麻烦。

这篇论文没有解决的问题，是它的判断标准本质上还是绑定在GPT-4o这一个参考裁判身上。如果GPT-4o自己的判断在某些细分领域存在系统性偏差，那小模型学到的也是同一种偏差，只是跑得更快而已。省钱和更准确，终究是两件不完全绑定的事情，这篇论文证明了前者，但后者依然需要更多独立的人类评估去校准。

Q&A

Q1：PointRubric和RaR-Science-Static是什么？

A：这是论文作者自己构建的两套逐点评分标准评测数据集，PointRubric改编自OpenRubrics，RaR-Science-Static改编自RaR-Science，两者都提供明确的评分条目、多个候选回答、每条标准的满足标签以及加权评分规则，用来测试小模型裁判的判断能力。

Q2：探针裁判为什么比生成式裁判和对数概率裁判效果更好？

A：因为探针直接读取语言模型冻结的隐藏状态，训练一个轻量分类器去预测判断结果，绕开了让模型把内心判断转化成规范文字输出这一步。实验显示小模型隐藏状态里其实藏着比嘴上说出来更准确的判断信号，只是生成式和对数概率方式没能可靠地把它挖出来。

Q3：用1.7B探针做强化学习奖励模型效果怎么样？

A：用它训练Qwen3-4B模型，RaR-Science评分从0.232提升到0.643，超过了用8B生成式裁判训练出的0.594分，同时累计裁判计算时间只有8B生成式裁判的十分之一左右，训练出的策略在GPQA-Diamond等迁移测试中也表现更好。