Dr. Claw：给AI科研助手装一个"черный ящик"记录仪 中国語原文

你有没有遇到过这种情况：写论文的时候，思路是在ChatGPT里聊出来的，代码是在Claude Code里写的，数据分析结果存在Jupyter里，最后草稿又拖回Word里改。等到导师问你"这个结论是怎么来的"，你翻遍七八个窗口都想不起来当时为什么做了那个决定。

这不是效率问题，是记忆问题。研究这件事最麻烦的地方，从来不是某一步做得不够好，而是过程本身留不下痕迹。

2026年8月底，一群来自Lehigh大学、伊利诺伊大学芝加哥分校、宾夕法尼亚大学等机构的研究者放出了一个叫Dr. Claw的开源系统，专门解决这个问题。它不是又一个"更聪明的AI科研助手"，恰恰相反，它假设你已经有一个足够聪明的执行者了（比如Claude Code、Gemini CLI这类命令行编程智能体），然后问了一个更实际的问题：这个执行者做的每一步，谁来记录，谁能审查，出了错怎么恢复？

命令行编程智能体已经能读写文件、维持长时间对话上下文，这在两三年前是不可想象的。但这类工具优化的是执行能力本身，不是控制能力。计划怎么定的、中间做了什么取舍、产出的文件散落在哪，这些信息基本上是随风而逝的。人类想要接管流程时，往往找不到明确的切入点。

论文里提到一个关键的领域共识：HCI（人机交互）研究反复证明，人和AI协作时，成本大头不在于生成内容本身，而在于验证和维持上下文。

HCI：Human-Computer Interaction，人机交互研究领域，关注人和计算机系统如何有效协作。

换句话说，AI写得快不快不是瓶颈，你能不能看懂它写了什么、能不能随时叫停、出错了能不能不推倒重来，这才是真正卡脖子的地方。

Dr. Claw的做法，是给这些命令行智能体套一层"控制与审计层"，而不是造一个新的更自主的智能体。这个区分很重要，作者专门给这种工作模式起了个名字，叫Vibe Research。

Vibe Research：一种人类主导、AI高效执行的协作范式。研究者用自然语言说出目标和约束，AI把这些编译成可执行的研究流程并完成具体操作，但最终验收权始终在人手里。

这个名字挺有意思，明显是从"Vibe Coding"（氛围编程，指用自然语言驱动AI写代码而不亲自敲每一行）借来的概念，延伸到科研场景。它划的边界很清楚：AI负责高吞吐量、可模板化的活，比如查文献、写代码、跑实验、总结结果、起草文字；人负责研究方向、评判标准、关键取舍、最终拍板。这不是自动驾驶，是带辅助驾驶功能但方向盘一直在你手里的车。

问题出在哪：满桌子文件却没有一条能追溯的线

想清楚Dr. Claw要解决的问题，得先看看它明确划清界限的那些"对手"。

一类是端到端全自动科研系统，比如The AI Scientist系列、Agent Laboratory、ResearchAgent。这些系统的追求是从一个想法直接跑到一篇论文，中间几乎不需要人插手。听起来很酷，但问题是，它们几乎不考虑"在真实本地工程环境里持续协作"这件事，说白了就是自主性拉满了，可控性几乎没有。

另一类是低代码/无代码的智能体构建工具，比如AutoGen Studio、Flowise、LangGraph这类编排运行时。它们给开发者提供了持久化检查点、人工中断、状态回放这些能力，但前提是开发者要自己声明一套状态模式。这就好比给你一堆乐高积木和说明书，你得自己从零搭建一个记录仪，而不是买回来直接插电就能用。

第三类是"可介入的研究智能体"，比如TinyScientist、ResearStudio、IRIS，这些工具已经开始加入让人类插手的机制了，方向和Dr. Claw很接近。

论文里做了个很直白的对比表格，把这些系统摆在一起看三个维度：是否包裹现有CLI智能体、是否有内置研究状态对象、是否支持中途接管。结果是，每个维度单拎出来，前人都做过，但把三者叠加在一起做到位的，目前只有Dr. Claw。

比如TinyScientist也委托外部编程智能体执行任务，AI Scientist-v2会保留一个结构化的实验树，ResearStudio允许在任意时刻暂停（这点甚至比Dr. Claw做得更彻底）。但这些系统各自解决的是单一环节的问题，Dr. Claw想做的是把整个从想法到实验再到发表的长链条都串起来，并且这条链条要能被回放、审查、恢复。

这就好比你去银行取钱，柜员机只给你一个"取款成功"的提示，但银行流水账本上记录了每一笔交易的时间、金额、经办人。柜员机（普通智能体执行器）完成了任务，但没有留下可审计的痕迹；流水账本（Dr. Claw的状态对象）才是让你半年后还能查清楚"这笔钱到底怎么花的"的关键。如果没有流水账本，一旦账目对不上，你只能凭记忆瞎猜，猜错了责任说不清，猜对了也没法证明。

四个状态对象：把散落的决策钉在墙上

Dr. Claw的核心设计，是四个持久化的状态对象，围绕着一个统一的编排枢纽运转。

Task Graph（任务图）：把高层目标拆解成带依赖关系的可执行任务，每个任务节点有状态（等待中、进行中、已完成）、优先级、依赖项等字段。

Artifact Store（产物库）：存放执行过程中产生的所有文件和结果，新产出物会追加进已有产物集合，不会覆盖或丢弃历史版本。

Decision Log（决策日志）：记录人类在流程中做的每一次关键决策，比如批准了什么、修改了什么、拒绝了什么。

Execution Trace（执行轨迹）：带时间戳的操作记录，谁在什么时候执行了什么动作，全部留痕。

这四个对象共同构成一个数学上很简洁的状态转移过程：下一时刻的状态，是当前状态、当前动作、观测反馈三者共同作用的结果。听起来抽象，但它的实际含义很朴素：系统优化的不是"一次性把活干漂亮"，而是"每一步的状态更新都能被记录和回溯"。

这套设计背后有个很现实的考量。系统采用了三层架构：交互层（统一的聊天、任务视图、文件和版本操作界面）、编排层（从高层意图到具体任务的状态和生命周期管理）、执行层（后端智能体的调用、结果返回、异常处理）。这种分层意味着，你换一个后端执行器（比如从Claude Code换成Gemini CLI），整个工作流程的语义不会变，状态和审计视图始终统一。

这有点像你家里装修时用的智能家居中控。不管你买的是小米的灯泡还是飞利浦的灯泡，中控面板上的开关逻辑和记录方式是一样的。如果没有这个中控层，你就得为每个品牌单独记一套操作习惯，换个牌子的灯泡就得重新学一遍怎么控制，之前攒下的自动化场景也全部作废。Dr. Claw的三层架构就是在扮演这个中控的角色，让底层执行器可以自由替换，而上层的状态记录和人类操作习惯保持不变。

一个技能库，58个和171个是怎么回事

Dr. Claw还内置了一个可复用的技能库，覆盖调研、想法生成、实验、分析、写作这五个研究阶段。

论文里给出两个数字：58个"阶段映射技能"（明确关联到某个研究阶段的技能）和171个"部署目录中的技能"（整个技能仓库里的全部技能，包括还没有被归类到具体阶段的）。这个差值挺有意思，说明这套系统还在持续扩张，很多技能还没来得及被纳入正式的阶段分类体系，属于"已经造好但还没挂牌"的状态。

每个技能是一个文件夹，里面有个叫SKILL.md的说明文件，用YAML格式的文件头声明这个技能的名字、描述，通常还包括版本号、许可证、允许调用的工具、适用的阶段标签。

YAML：一种人类可读的数据格式，常用于配置文件，靠缩进和键值对表达结构化信息，比JSON更简洁易读。

技能被激活前要经过版本检查和格式校验，激活之后的调用记录也会被存档，方便日后复盘。

技能怎么被用到具体任务上，论文说了三条路径：第一条是系统根据任务所属的阶段和类型，自动从"阶段-技能映射表"里挑出建议技能，附加到任务节点上，塞进下一步的提示词里；第二条是系统检测用户指令或任务描述里的关键词，自动加载相关技能；第三条是用户直接从技能面板里手动点选调用。

这套三路机制设计得挺聪明，但论文里也老老实实承认了一个短板：技能的"选择"是确定性的，但"调用"不是强制的。

也就是说，系统能保证把正确的技能推荐给正确的任务，但推荐了不代表执行器一定会真的去读那个技能文件、照着做。这就像餐厅给你推荐了今日主厨特色菜，服务员把菜单递到你手上，但你翻不翻那一页、点不点那道菜，餐厅管不了。在后面的实测里，这个"推荐了但没被采纳"的问题真的出现了一次，直接导致Dr. Claw在某个任务上没能超过裸执行器。

拿裸命令行智能体做对照，测的是什么

作者做的核心实验设计得挺巧妙，控制变量控制得很干净：固定同一个后端执行器（codex提供商，gpt-5.4模型，权限设置也完全一致），一边是裸的命令行智能体自己跑，一边是套了Dr. Claw这层壳之后再跑。两边唯一的区别，就是Dr. Claw额外附加的任务图、产物库、决策日志、执行轨迹、技能库这一整套东西。

这个实验设计的潜台词很清楚：作者想说明的不是"我们的AI比你们的AI聪明"，而是"同样一个AI，套上我们这层壳，产出会不会更完整、更可追溯"。

测试任务是三个开放式的医学研究课题：黑色素瘤分类、痣的分类（都基于Derm7pt皮肤病变数据集），还有一个临床病历风险基线任务。

关键的地方在于，指令是故意不写全的。给的提示只是"进行一项严谨的、可发表质量的研究"，没有告诉AI打分标准具体是什么。这种设计是为了避免"指令写得越细，AI表现越像抄作业"这种作弊嫌疑，逼着系统在不知道评分细则的情况下，自己判断一份合格的研究该包含哪些要素。

评分标准是21项研究最佳实践要素是否被自发包含进去，涵盖代码可复现性、多模型对比、交叉验证、校准、消融实验、统计严谨性、图表、引用自身数据的写作，以及研究"卫生"层面的要素：限制条件说明、亚组分析、真实的相关工作引用。

结果显示，Dr. Claw在三个任务里赢了两个，平了一个，汇总得分0.952对0.873。

但更值得琢磨的是这个差距具体出现在哪里。两边在建模能力上几乎打平，都能训练三个以上模型、做交叉验证、做校准、做消融、做统计检验，这些项目双方都是满分。差距完全出现在"研究卫生"这三项：限制条件说明从0.33涨到1.00，亚组分析从0.33涨到1.00，真实文献引用从0.00涨到0.67（裸执行器在三个任务里一次都没主动加过真实文献引用）。

这个发现挺扎心的。说明裸的编程智能体，就算模型能力很强，也不会主动想起"我该写一段本研究的局限性"，或者"我该去查几篇真实存在的相关论文引用一下"。这些不是技术能力问题，是习惯和流程问题，恰恰是Dr. Claw的技能库擅长补齐的地方。

那唯一打平的那个任务（临床病历任务）发生了什么？论文交代得很坦诚：那次Dr. Claw的"参考文献审计"技能没有被触发，所以它也漏掉了引用这一项。这恰好印证了前面说的那个短板：技能推荐了，但没被真正调用。

这就像你请了一个私人助理帮你管理日程，助理给你的日历上贴满了各种提醒便签，但如果某张便签压根没被贴上去，那件事照样会被漏掉。私人助理的价值不在于他知道该提醒什么，而在于提醒这个动作真的发生了。Dr. Claw目前的机制，更接近"知道该提醒什么但不一定真提醒了"，作者自己也把这个列为下一步最该优化的方向：从"推荐技能"升级成"验证技能确实被执行了"。

可审计性，不是分数而是能力本身

论文里有一句话说得挺到位：审计能力是一种架构上的赋能，而不是一个可以打分的性能指标。

这句话乍一听有点绕，但拆开看逻辑很直接。裸执行器压根不存在任务图、执行轨迹、决策日志这些东西，所以"裸执行器缺席"这件事，不是它表现差，而是它的设计里根本没有这些概念。这就好比你不能说一辆自行车"刹车性能不如汽车"，因为自行车压根没有ABS防抱死系统，这不是性能差距，是两种设计的物种差异。

Dr. Claw每次运行会留下平均14个节点的任务图、14次转移记录的执行轨迹、10条条目的决策日志摘要，还有明确标注了研究阶段和"论点对应证据"映射关系的结构。这些东西对人类监督来说是一种赋能，让你能够回头查"这个结论是从哪组实验数据来的"，而不需要翻遍所有聊天记录。

不过论文也很克制地划了一条线：在"格式无关的可追溯性"上，作者不敢说自己更强。裸执行器产出的写作文件里，引用的文件路径解析成功率是62%，Dr. Claw是100%，看起来差距很大，但这里有个"体积混淆"的问题，Dr. Claw的写作里引用了48处文件，裸执行器只引用了8处，样本量差太多，不能简单下结论谁更准。

这种诚实挺难得。很多论文喜欢把每一个指标都包装成自己的胜利，但这篇论文明确说了"这一项我们不敢说赢"，这种自我节制反而让整篇论文的可信度上升了。

统计上，作者也很坦率地承认，这只是一个探索性试点，每个任务只跑了一次，完整度的差距是正0.079，95%置信区间是[-0.00, +0.14]，这个区间包含0，说明从严格统计意义上讲这个差距还不算显著。方向是一致的（三个任务Dr. Claw都不输），但样本量还不够撑起一个统计学意义上站得住脚的结论。

出错了怎么办：失败不是清零重来

除了完整度测试，作者还做了一个失败恢复的场景演示，同样固定在codex/gpt-5.4这个后端上。

具体做法是，先跑一个完整的皮肤病变数据集小项目，然后故意在中间插入一个错误，比如让系统去加载一个错误路径下的文件，观察系统的反应。

结果是，系统没有偷偷自我纠正糊弄过去，而是直接停下来，把这个错误明确记录进执行轨迹和决策日志，让操作者知道出问题了。之后的修复动作是"在原地打补丁"：正确的路径被指定，系统重新执行，最终跑出一个准确率0.892的正确结果，而在此之前已经生成的5个文件全部原封不动地保留着，一共记录了23次工具调用事件。

这里最值得强调的一点是，修复过程是往产物库里追加正确的内容，而不是把之前失败的尝试删掉重来。

这个细节看似技术性很强，其实对应的是一个很朴素的道理：出错的过程本身也是有信息价值的。

想象一下你在做一道数学题，中间演算错了一步，好的做法是划掉那一步、在旁边重新演算，而不是把整张草稿纸撕掉重写。撕掉重写的问题在于，你没法回头检查"我到底是哪一步开始想岔的"，下次可能还会在同一个地方犯错。Dr. Claw的非破坏性恢复机制，本质上就是不允许你撕草稿纸，逼着系统把错误也留在纸上，方便后续复盘"这个坑到底是怎么踩进去的"。

不过论文也坦承，这个演示只有Dr. Claw单方面的展示，没有做一个匹配的裸执行器恢复场景来对照，所以严格来说，这更像是一个能力展示，还不是一个对比实验。

人类到底怎么看：七位AI博士生的真实反馈

除了自动化的完整度测试，作者还补了一个人类研究，找了七位AI方向的博士生（研究方向覆盖高性能AI、医学AI、大语言模型），横跨三个研究阶段：想法生成、实验、发表，比较三种条件：完全不用AI工具、用通用型AI助手（ChatGPT、Gemini、Claude这类）、用Dr. Claw。

这个研究的设计有点特殊，属于混合式回溯研究：用Dr. Claw的那组是实时记录日志，另外两组是靠参与者事后回忆填报。这种设计天然带有回忆偏差的风险，作者也在论文里明确承认了这一点，为了减少偏差，要求参与者只报告最近一个月内还能清楚回忆的任务，并且用统一的计时协议。

结果显示，Dr. Claw组的完成时间更短（主要集中在1小时以内或1天以内），产出质量评分最高（由不知道具体使用了哪个工具的评审员打分），工具切换次数更少，主观体验评分更高。

统计检验用的是Friedman检验（一种用于多组相关样本比较的非参数检验方法）加上Holm校正的事后成对Wilcoxon检验。数据显示，体验评分这一项在三个阶段都达到了统计显著性，是所有指标里信号最强、最一致的。完成时间这一项在第二、三阶段（实验和发表）也显著。

论文没有回避局限：样本量小、参与者对不同系统的熟悉程度不一样、回溯性数据存在回忆偏差、第二阶段特意排除了模型训练的运行时间、体验评分本身带有主观性。这些都被列进了论文的Limitations部分，没有藏着掖着。

这套系统的边界在哪

作者自己列的局限性挺值得一读，说明这不是一篇急于自我拔高的论文。

第一条局限是，固定后端执行器的对比方法，严格来说不算"消融实验"。Dr. Claw加的任务图、持久化状态对象、技能库、工作流指令是打包在一起加进去的，观测到的效果差距没法归因到某一个具体组件，纯技能库和纯编排层各自单独的效果，还是留给未来研究的空白。

第二条，完整度这个指标本质上是一个覆盖率计数，测的是21项要素有没有出现，不是这些要素做得对不对。真正的科学严谨性判断，需要领域专家逐份审阅内容，这套自动化打分做不到。

第三条，对比的目标是Dr. Claw包裹的那个裸执行器，是"这层壳加了什么"的匹配对照组，不是业界最先进的编排框架，所以不能说这篇论文证明了Dr. Claw"打败了"某个最强的竞品。

第四条，测试任务全部来自医学这一个领域，技能库和任务图这套抽象结构能不能顺利迁移到其他研究领域（尤其是那些本身就很开放、结构感可能反而添乱的领域），还有待验证。

这种坦率的自我剖析，某种程度上比实验数据本身更能说明这个团队的态度。

写在后面

读完这篇论文，我印象最深的不是那个0.952对0.873的分数，而是作者反复强调的一句话：这套系统不引入新的自主智能体，只是给已有的执行器加一层控制和审计。

这个立场选择挺有意思，因为它其实是在跟当下科研工具赛道里的主流叙事对着干。大多数团队都在卷"更自主"，你追我赶地想让AI能自己从0走到1，中间尽量不需要人插手。Dr. Claw反其道而行之，说我不追求自主性，我追求可控性和可审计性，人始终得能随时叫停、随时接管、随时回头看清每一步是怎么走过来的。

这背后其实是一个很朴素的判断：在真实的科研场景里，不是自主性不够用，而是没有人敢完全信任一个黑箱系统产出的结果。你写一篇论文，最终要为里面的每一句话负责的是你自己，不是那个AI。所以真正稀缺的不是"更聪明的AI"，是"我能不能证明这个结论是怎么来的"这种能力。

论文里那个技能"推荐了但没被强制调用"的短板，其实挺真实地暴露了这类系统当下普遍面临的一个技术难题：怎么在不牺牲灵活性的前提下，确保系统该做的事情真的做了。这个问题不只是Dr. Claw的问题，几乎所有依赖提示词引导而非硬性约束的智能体系统，都会撞上这堵墙。

还有一个细节值得单独说一说：那个人类研究里，体验评分是所有指标里统计显著性最强、最一致的一项，比完成时间和产出质量都更稳。这说明什么呢？可能说明"用得爽不爽"这件事，比"跑得快不快"更能真实反映一个工具是不是真的解决了问题。毕竟效率提升可以靠更强的模型换来，但"我知道每一步发生了什么、我随时能接管"这种掌控感，是纯粹靠模型能力堆不出来的。

如果你的研究流程也散落在七八个窗口里，找不到一条能串起来的线，这大概就是这类工具想要解决的真实痛点。至于人类到底应该在哪个环节上收紧控制权、哪个环节可以彻底放手，这个尺度恐怕还得每个人自己去摸索。

Q&A

Q1：Dr. Claw是什么？

A：Dr. Claw是一个开源的AI科研工作台，它不引入新的自主AI智能体，而是给Claude Code、Gemini CLI这类已有的命令行编程智能体套上一层可控可审计的人机协作壳，通过任务图、产物库、决策日志、执行轨迹四个持久化状态对象，把科研中的规划、执行、写作串成一条可追溯的完整流程。

Q2：Dr. Claw和裸的编程智能体相比效果怎么样？

A：在固定同一个后端执行器的对照实验里，Dr. Claw在三个开放式医学研究任务中，两胜一平，完整度得分0.952对0.873，优势主要体现在限制条件说明、亚组分析、真实文献引用这几项"研究卫生"要素上，建模能力本身双方基本打平。

Q3：Dr. Claw会不会取代研究者自己做决策？

A：不会。Dr. Claw的设计理念叫Vibe Research，明确要求AI只负责高吞吐量、可模板化的执行工作，比如查文献、写代码、跑实验，而研究方向、评判标准、关键取舍和最终验收权始终掌握在人类研究者手里。