AI科研智能体的"隐藏短板"：它们缺的不是聪明，是经验 中国語原文

你有没有想过这样一个问题：如果给你一个天才的应届毕业生，再给他一间配备了所有实验设备的实验室，他能立刻做出一流的研究成果吗？

多半不能。

他懂理论，会推导公式，能读懂论文，但真正让他去复现一个复杂实验的时候，他会卡在一些让人哭笑不得的细节上：这个包的这个参数到底该怎么配，这个数据集要不要提前做归一化，跑出来的结果不对到底是代码问题还是方法本身就不适用。这些东西没有写在教科书里，是无数人踩坑踩出来的经验，行话叫"知道怎么把事情做成"的能力,而不是"知道有这么回事"的能力。

现在把这个毕业生换成AI科研智能体，问题一模一样地出现了。

**这篇论文要讲的,就是为什么现在最先进的AI科研智能体,明明用着最强的大脑,配着最精细的工作流程,却依然在真实科研任务上跌跌撞撞,以及研究团队怎么用一套叫DisCo的系统,把这个短板补上,补完之后成绩直接翻倍还多。**

先说说这个短板到底卡在哪儿。

聪明的大脑加上好的流程,为什么还不够用

一个AI科研智能体通常由两部分组成。

第一部分是模型本身,也就是负责理解问题、进行推理、制定计划、写代码执行的那个大语言模型,业内管这个叫backbone(骨干模型)。

骨干模型:指承担智能体核心推理、规划和执行能力的大语言模型,是整个智能体系统的"大脑"。

第二部分是harness(执行框架),也就是负责调度记忆、验证结果、反复迭代改进的一整套工程系统。

执行框架:负责智能体任务编排、记忆管理、结果验证和迭代优化的工程系统,类似"大脑"周围的骨骼和神经系统,决定智能体如何一步步把任务落地。

这两块东西,过去几年一直在飞速进步。骨干模型一代比一代强,GPT系列迭代到今天已经能处理极其复杂的推理;执行框架也越做越精细,各种规划、反思、纠错机制层出不穷。

按理说,两个都在变强,整体表现应该跟着一起涨才对。

但研究团队观察到,机器学习研究这件事特别"吃经验"。你要知道该用什么方法解决当前的问题,该选哪个具体的代码库来实现,这个库的接口该怎么调,训练流程该怎么配置,常见的坑要怎么绕开。这类知识,论文里研究团队把它叫做operational knowledge(操作性知识),而这恰恰是骨干模型和执行框架都没有覆盖到的一块空白地带。

操作性知识:把"知道某个方法存在"转化为"能真正让这个方法跑起来"所需要的全部经验,包括方法选择、工具使用、参数配置和踩坑规避,是连接理论知识和实际操作之间的桥梁。

骨干模型的知识是从训练数据里学来的,广而不精,而且是固定的,不会随着任务变化而更新。执行框架管的是"怎么走流程",但不管"该往哪个方向走"。这中间那块"该做什么选择、该注意什么坑"的知识,谁都没管。

结果就是,智能体拿到一个陌生的科研任务,只能靠试错去摸索。写一版代码,跑一下,发现不对,分析日志,改一版,再跑。这个过程消耗的计算预算和时间,和真正花在验证有效方案上的预算,是同一个池子里的钱。一次配置错误的训练跑下来,可能就把大半个任务预算烧光了,而且这次踩过的坑,下一次遇到类似任务时,智能体还是不知道。

这就好比你请了一位很聪明的临时工来帮你装修房子,他懂物理学懂力学,你告诉他要贴瓷砖,他也能推理出大概的步骤,但因为没人告诉他这个牌子的瓷砖胶要提前搅拌多久、这种墙面得先做防潮处理,他只能自己一点点试。第一次贴歪了返工,第二次胶没干透就上墙又返工。等他终于摸清楚门道,活也干得差不多了,可这些经验第二天换个工地又得从头摸索一遍,因为他自己不会把这些经验记下来。

那这些操作性知识存在哪儿呢?

其实到处都是。GitHub上开源代码库的说明文档里,论文的实验章节里,技术博客的踩坑记录里,这些信息其实非常丰富,只是它们是写给人看的,篇幅又长又杂,智能体没办法在有限的上下文窗口里一次性塞进去消化。

于是研究团队想到了一个解决方案:把这些散落各处、写给人看的知识,提炼、压缩、验证成智能体能直接调用的"技能"。

技能:让知识变得"随取随用"的那把钥匙

这里要引入这篇论文最核心的一个概念,叫skill(技能)。

技能:一种把某项操作性知识打包封装的标准化格式,包含一个说明文件、一组参考资料和若干可执行脚本,智能体可以按需读取和调用,而不必一次性加载全部内容。

具体来说,一个技能包由三层组成。最外层是一个叫SKILL.md的说明文件,相当于这个技能的"使用说明书封面",智能体一打开就能看到这个技能是干什么的、什么时候该用、大致怎么操作。第二层是references(参考资料),里面是更详细的文档,比如具体的接口说明、算法细节、参数配置表,这些内容平时不加载,只有智能体真的需要深入了解时才会去翻。第三层是scripts(执行脚本),就是可以直接跑起来的代码工具,智能体调用它,而不用自己重新写一遍。

这个设计背后有一个很朴素的原则,叫progressive disclosure(渐进式披露),意思是信息应该按需展开,而不是一股脑全塞给使用者。

渐进式披露:一种信息组织原则,内容按需逐层展开,使用者先看到概要,只有在真正需要时才深入查看细节,从而避免一次性接收过量信息。

这个原则听起来很技术,但其实你每天都在用它。想想你打开一份产品说明书,封面上先是一句"如何组装这台家具",你翻开第一页看到的是大致步骤图,只有当你真的卡在某个螺丝拧不进去的时候,你才会去翻附录里那份详细的螺丝规格对照表。如果说明书把所有螺丝规格、材质说明、安全警示全部印在封面,你反而会被淹没,根本不知道从哪儿看起。

**智能体也是一样的道理,一个智能体要是同时装着五千个技能包的全部细节,它的"注意力"反而会被无关信息稀释,真正该关注的东西找不到了。**

所以技能包的设计,就是让智能体先看一眼摘要,判断这个技能跟当前任务相不相关,相关就往深处翻,不相关直接跳过。这样即便技能库里塞了几千个技能,智能体每次真正读进上下文的,也只是那一小部分真正用得上的内容。

如果不这样设计会怎样?假设所有知识都直接堆进智能体的提示词里,不做任何分层,那么智能体处理一个简单任务时,可能要先啃掉几万字的无关文档才能找到真正有用的那一段。计算成本暴涨不说,智能体的判断力也会因为信息过载而下降,这就是为什么"按需展开"这个设计不是锦上添花,而是让整个系统能跑起来的关键前提。

那这些技能到底是怎么生产出来的?这就要说到这篇论文另一个核心贡献,一个叫DisCo的系统。

DisCo:一个既会"造知识"又会"用知识"的智能体

DisCo这个系统有意思的地方在于,它不是简单地把知识喂给智能体,而是自己身兼两职:既是知识的生产者,也是知识的使用者。

论文里把这两种角色叫做creator mode(创造者模式)和researcher mode(研究者模式)。

创造者模式:DisCo在这个模式下负责把原始的代码库、论文等资料提炼加工成标准化的技能包,这个过程叫技能蒸馏。

研究者模式:DisCo在这个模式下调用已经生产好的技能库,把相关技能作为操作性知识提供给正在执行具体科研任务的智能体。

那技能是怎么从一堆原始资料"蒸馏"出来的呢?论文里给出了一个四步走的流程,叫skill distillation(技能蒸馏)。

技能蒸馏:把写给人看的原始资料,通过四个步骤转化为智能体可直接使用的、经过验证的操作性知识的过程,四个步骤依次是范围界定、证据搜集、构建组装、验证修复。

第一步叫scope(范围界定),就是先搞清楚这份资料能提供哪些具体的能力,值得提炼出来做成技能。第二步叫ground(证据搜集),从原始资料里挖掘支撑这些能力的具体证据,比如接口文档、代码示例。第三步叫construct(构建组装),把这些证据组装成一个技能包,写清楚使用条件和操作步骤。第四步是verify(验证修复),这一步是重中之重,任何技能在正式加入知识库之前,都必须经过实际测试,能跑通的才留下,跑不通的要么修好,要么明确标注这里还有没解决的问题。

这个流程有两种触发方式。一种叫task-agnostic distillation(任务无关蒸馏),不针对具体某个任务,而是提前把某个代码库或者论文整体消化一遍,做成一套通用的、以后任何任务都能调用的技能。另一种叫task-oriented distillation(任务导向蒸馏),是当一个具体任务摆在面前时,现场分析这个任务需要什么能力,主动去搜集相关资料,针对性地生产技能。

任务无关蒸馏:提前对某个知识来源(比如一个软件库)进行整体分析,生成不针对特定任务、可被未来任意任务复用的技能。

任务导向蒸馏:针对一个具体待解决的任务,现场判断缺什么能力、去哪里找资料,生成专门服务于这类任务的技能。

这两种方式很像一个厨师准备食材的两种策略。任务无关蒸馏就像是厨师提前把常用的葱姜蒜、高汤、酱料都备好放进冰箱,不管今天客人点什么菜,这些基础调料都能直接拿来用。任务导向蒸馏则像是客人点了一道从没做过的菜,厨师现场翻菜谱、找特殊食材,专门为这一道菜准备。如果厨房只靠现场准备,那每道菜的出餐速度都会很慢,客人等得心焦;但如果只靠提前备好的通用食材,遇到特殊需求的菜又做不出来。两种策略搭配着用,才是真正靠谱的厨房。

论文里特别强调了一件事:验证这一步,是区分"蒸馏"和单纯"总结"的分水岭。一份技能光是把文档内容摘要一遍,不代表它真的能用。DisCo在生产技能的过程中,会用真实的执行案例去测试这个技能,跑不通的地方要现场修复,修不好的就诚实地写进记录里,而不是假装它没问题。这一点其实挺关键,因为一个看似完整却实际上有漏洞的技能,比没有技能更危险,它会让智能体产生虚假的信心,在错误的方向上一路狂奔。

把这套方法论落地成一个具体的资产库

光有方法论还不够,研究团队真正把DisCo跑了一遍,批量处理了整个开源生态里最常用的1000个机器学习代码库,建成了一个叫AREX-Skill Library(AREX技能库)的东西。

AREX技能库:由DisCo自动生成的技能资产库,当前版本包含从1000个常用机器学习代码库中提炼出的5000多个经过验证的技能,并按20个大类和178个能力族群组织归类。

这1000个代码库的选取标准是开源可见度和实际使用广泛程度,涵盖了模型实现、训练部署系统、数据评估工具、科学计算软件等各个方向。每个库平均花费大约40美元的计算预算去生产对应的技能图谱,而且不是简单堆砌,而是根据这个库支持的具体工作流,比如数据准备、模型训练、推理、评估、部署、故障排查等,把技能拆分成一个个相互关联的节点,组成一张skill graph(技能图谱)。

技能图谱:围绕某个知识来源生成的一组相互关联的技能,包含一个总揽全局的入口技能和若干针对具体子任务的组件技能,节点之间通过路由、依赖或组合关系相连。

一个技能图谱通常会有一个"入口技能",相当于这个代码库的说明书封面,告诉智能体这个库大致能干什么,然后根据智能体当前的具体需求,再往下路由到具体的组件技能。比如智能体现在要用某个库训练模型,入口技能就会指向"训练"这个分支的具体技能,而不会把"部署""维护"这些暂时用不上的内容也塞进来。

**这套技能库最终统计下来,包含了5353个技能,横跨1000个代码库,分类到20个大类和178个具体的能力族群里。**

这些大类涵盖的范围相当广,从计算机视觉、大语言模型应用、数据科学,到科学计算、生成媒体、强化学习、信息检索、生物医学AI、机器人和具身智能,几乎覆盖了当前机器学习研究的绝大多数主流方向。

值得一提的是,一个代码库并不是只能归到一个类别里。比如某个库既能做图像分类又能做目标检测,它就会同时出现在两个不同的能力族群下。论文里统计,有700个代码库出现在不止一个族群里,这也说明了真实世界的软件工具往往是多用途的,单一的分类体系反而会削足适履。

除了这套面向代码库的通用技能库,研究团队还专门针对四个不同的科研评测场景,额外做了定制化的技能构建,包括基于论文提炼的技能池,以及三种不同类型的任务导向技能图谱。这一块的细节我们放到后面讲实验结果的时候再展开。

真金不怕火炼:四个基准测试上的成绩单

方法讲完了,接下来最实在的问题是:这套东西到底管不管用?

研究团队选择了四个当下机器学习圈子里比较有代表性的评测基准,分别考察智能体在不同类型任务上的表现。为了确保比较公平,他们把骨干模型固定为GPT-5.5,执行框架固定为Codex,任务预算也保持一致,唯一变化的变量就是有没有给智能体配上DisCo蒸馏出来的技能。

第一个基准叫MLE-bench,考察的是端到端的机器学习工程能力,一共75个Kaggle式的竞赛题目,难度从低到高分成三档。

结果显示,没有技能加持的Codex拿到的Any-Medal(获得任意奖牌)得分是31.11%,配上技能之后直接飙到72.89%,提升幅度高达134.3%。这不是简单的百分点提升,而是接近翻了一倍还多。而且难度越高,提升越明显,在High难度组里,得分从13.33%涨到62.22%,相对提升366.8%,相当于原来能力的4.67倍。

这个结果背后其实透露出一个挺重要的信号:任务越复杂,需要探索的库、工具、优化选择就越多,没有经验指引的智能体越容易在这片汪洋大海里迷失方向。而配上技能之后,智能体不用再靠盲目试错去找路,而是能直接跳到一个已经被验证过靠谱的方向上,把省下来的预算都花在真正打磨细节和优化指标上。这就好比一个新手司机第一次开车去陌生城市,如果没有导航,他可能光是在市区绕圈找路就耗掉了大半个油箱,而如果有一份靠谱的路线图,他能把省下来的时间和油量都花在真正需要小心驾驶的路段上。

更让人意外的是,配上技能的Codex不光是比自己没有技能的版本强,它还超过了MLE-bench公开排行榜上目前表现最好的公开智能体系统,总分从64.44%提升到72.89%,而且这个对比用的还是没有任何定制执行框架的普通Codex加技能的组合。

第二个基准是PaperBench,考察的是复现顶会论文实验结果的能力,一共20篇论文。

技能加持之后,平均复现得分从29.45%提升到39.59%,提升10.14个百分点,相对提升34.4%。在20个任务里,有18个得到了提升,只有2个出现了轻微下滑。提升幅度最大的几个案例里,有一篇论文的得分从7.94%涨到48.51%,相当于原来的6.1倍;还有一篇从1.50%涨到17.17%,相当于原来的11.4倍。

这里有个规律挺值得琢磨的:提升幅度最大的往往是那些原本得分很低的任务。这说明技能的价值,在智能体本来就快"卡死"、找不到出路的时候体现得最明显。如果一个任务本身智能体已经做得不错了,再给它多一份参考资料带来的边际收益就相对有限了。

第三个基准是FrontierCS,考察的是开放性的计算机科学难题求解,一共188个任务,类似算法竞赛加持续优化的场景。技能加持之后,总分从70.63提升到77.14,提升9.22%。研究团队还特别分析了一下,提升幅度和智能体消耗的额外算力、步数、工具调用次数几乎没有相关性,这说明技能带来的不是"用了更多算力所以效果更好"这种简单粗暴的解释,而是真的提供了更精准的方向指引。

第四个基准是PassNet,考察的是图编译器的代码优化能力,涉及构造模式匹配器和重写规则。这块的技能加持带来的核心变化是AS Score从1.343提升到1.5313,相对提升14%,更重要的是失败样本数量从14个降到5个,减少了64.3%,正确率从81.35%提升到90.76%。

技能不是万能药,它也会踩坑

论文里没有回避一个不太好看的细节:在PaperBench的20个任务里,有两个任务配上技能之后反而表现更差了。一个从57.11降到52.04,另一个从32.31降到27.79。

研究团队分析了原因,认为这两个任务原本没有技能的时候,智能体本身已经找到了一条比较独特、比较合适的解决路径,而检索出来的技能可能把它带偏了,拉去用了一个不那么贴合当前任务特殊性的通用做法。

这个现象其实挺有启发。它说明技能库不是查了就一定对,而是存在一个精确度和召回率之间的权衡。**给智能体提供更多参考信息,同时也意味着有更高概率检索到不完全匹配的内容,反而干扰了它原本可能自己想明白的路径。**

论文提到,未来可能需要更好的路由机制,或者在检索到的技能明显不匹配的情况下,给智能体一个"退回去自己想"的备用选项。这其实是一个很诚实的补充,任何工具都不是无条件正向的,重要的是知道它什么时候会失灵。

写在后面

读完这篇论文,我最有感触的一点其实不是那些漂亮的数字提升,而是它把"操作性知识"这个概念单独拎出来讨论的这个动作本身。

过去大家谈AI智能体的进步,总喜欢盯着两件事:模型是不是更聪明了,框架设计得是不是更精妙了。但这篇论文提醒了一个容易被忽视的第三条腿:智能体到底知不知道这个领域里那些没写进教科书、只存在于老手脑子里的经验。

这其实和人类专家的成长路径是一模一样的道理。一个刚毕业的博士生知识储备可能不比一个做了十年科研的老教授差,但真正让老教授高效的,是他脑子里那本无形的"避坑手册"。这篇论文做的事情,某种程度上就是试图把这本无形的手册,变成一份可以被机器读取、检索、按需调用的显性资产。

还有一个细节我觉得挺值得单独说一说:技能构建的成本是"一次性投入,长期摊销"的。生产一个代码库的技能包大约要花40美元,但这个技能一旦造好,以后任何调用它的任务都不用再重新掏这笔钱。这种成本结构其实很像修一条路,前期投入不小,但路修好之后,后面每一次通行的边际成本几乎为零。

论文里那个技能失灵的案例也让我多想了一层。如果一个系统给出的建议永远是对的,那反而值得怀疑,因为真实世界不存在这种确定性。**技能库偶尔把智能体带偏这件事,恰恰说明这套系统是在真实条件下被测试出来的,而不是在一个只挑好结果展示的实验室里演出来的。**

这套方法目前还只覆盖了机器学习这一个领域,但操作性知识短缺这件事,其实存在于几乎所有需要专业经验的场景里。如果有一天,法律、医疗、金融这些领域也开始出现类似的"技能蒸馏"系统,把散落在判例、病历、交易记录里的隐性经验提炼成智能体可用的知识包,那时候的AI助手,可能才真正开始有点"老手"的样子。

Q&A

Q1：DisCo是什么？

A：DisCo是一个既能生产技能又能使用技能的科研智能体系统,它把GitHub代码库、论文等资料自动提炼成智能体可直接调用的标准化技能,再用这些技能辅助自己完成具体的科研任务。

Q2：AREX-Skill Library包含多少技能？

A：AREX技能库当前版本包含从1000个常用机器学习代码库中提炼出的5000多个经过验证的技能,按20个大类和178个能力族群组织,覆盖计算机视觉、大语言模型应用、数据科学等多个方向。

Q3：配上技能之后智能体表现提升了多少？

A：在固定骨干模型和执行框架的前提下,配备DisCo技能的智能体在MLE-bench上提升134.3%,PaperBench上提升34.4%,FrontierCS上提升9.2%,PassNet上提升14.0%。