AI 距离 “递归式自我改进” 比很多人想象的要远。普林斯顿大学 2026 年一项影子评测显示，即便给 Claude Opus 4.8 配备 OpenClaw 智能体框架、6 天时间、3000 美元 API 额度和 GPU 算力，让它从头完成两篇 NeurIPS 级别的研究论文，最终两篇都被原作者拒稿。AI 能做工程、跑实验、写代码，但在提出好问题、判断证据是否充分、果断放弃错误路线这些真正决定研究质量的环节，仍然远远不够。这意味着，所谓 “AI 几乎不需要人类监督就能不断改进自己”，短期内还只是一个预测。
一、问题：AI 做科研，卡在哪一步不是工程，而是判断
过去两年，大模型在代码生成、合成数据制造、甚至芯片设计优化上的表现，让 “递归式自我改进” 从科幻概念变成了行业热词。OpenAI 明确把 “自动化 AI 研究员” 列为目标，Anthropic 也将自我改进型 AI 视为下一座里程碑。头部公司的逻辑很直接：如果 AI 能自己做 AI 研究，那进步速度将不再受人类研究员数量限制。
但真实的 AI 研究，不是把工程任务跑完就够了。一个人类研究员每天要做的判断包括：这个假设值不值得追？当前的实验结果能不能支撑结论？这条思路走了三个月还没动静，是再坚持一下还是彻底换方向？这些问题没有标准答案，也没有自动判分机制。而普林斯顿团队的研究恰恰证明，AI 智能体最缺的，就是这种 “研究品味”。
二、实验步骤：影子评测如何把 AI 逼到 “闭卷考试”
为了避开以往评测的缺陷 —— 大多数 AI 科研能力测试只用范围明确、结果易验证的工程任务 —— 研究团队设计了 “影子评测”（shadow evaluation）。核心思路是：从尚未公开发表的顶级会议论文中抽出研究问题，让 AI 从头做一遍，再交给原论文作者评审。
实验使用 Anthropic 的 Claude Opus 4.8，通过开源智能体框架 OpenClaw 运行。两个问题均来自 NeurIPS 2026 的未公开论文：
- 问题一：能否通过修改模型权重，控制大语言模型中的 “人格设定”（persona）？
- 问题二：如何设计一种检测机制，判断基于表格数据预测的模型何时已不再可靠？
由于论文当时未公开，AI 既无法从训练数据中 “背答案”，也不能上网搜到现成结论。研究人员给了 AI 智能体六天时间、3000 美元 Anthropic API 额度、GPU 算力、独立虚拟机和自由互联网访问。任务只有一个：完成一篇足以发表在顶级 AI 会议上的研究论文。最终结果：两篇全部被拒。
三、AI vs 人类研究者：研究全环节能力对比
把实验中 AI 的表现拆解到研究流程的各个环节，可以更清楚地看到差距到底在哪。
表格
| 研究环节 | AI 智能体表现 | 人类研究者典型做法 | 差距本质 |
|---|---|---|---|
| 文献检索与梳理 | 能检索、能整理，但容易停留在表面引用 | 会追踪争议脉络，识别未被解决的关键矛盾 | 信息整合够，问题意识不足 |
| 假设提出 | 偶尔能提出新颖假设，部分与原作者初始想法接近 | 基于领域直觉提出假设，并预判验证难度 | 有灵感但无筛选能力 |
| 实验设计 | 常使用极小的合成数据集验证假设，设计逻辑奇怪 | 会选择有代表性的真实数据集，控制变量并做消融实验 | 缺乏对 “证据是否充分” 的判断 |
| 方向调整 | 过早押注单一路线，草率放弃有潜力的假设；难以推翻原有思路从头再来 | 会在多个方向间并行探索，设定明确的 “止损线” | 资源分配和放弃决策能力弱 |
| 反馈吸收 | 子智能体和外部 AI 评审提出问题后，主智能体通常不修改研究方法 | 会认真对待同行反馈，据此重构实验或论证 | 对批评性反馈的响应机制缺失 |
| 论文写作 | 能组织结果，但难以把研究思路讲清楚 | 会围绕核心贡献构建叙事，明确区分自己的工作与前人 | 表达能力跟不上思考深度（而思考本身也不够深） |
| 原创贡献 | 几乎没有给所在领域带来真正的新贡献 | 哪怕是增量工作，也会明确指出推进了什么 | 核心目标缺失：不知道 “做研究” 是为了贡献新知 |
一个值得注意的细节是：实验中 AI 没有出现 “奖励黑客” 行为 —— 它没有为了更好看的结果而隐瞒、篡改或歪曲实验数据。这听起来是好事，但从另一个角度看，AI 连 “投机取巧” 的动机都没有，说明它对研究目标本身缺乏深层理解。一个真正理解 “我在做研究” 的主体，才会有走捷径的诱惑；AI 只是在执行任务序列，它并不知道自己为什么要做这些实验。
四、失败根源：为什么强化学习练不出 “研究品味”
研究团队负责人卡普尔（Sayash Kapoor）指出，问题的根源可能在训练方式。当前 AI 模型能力飞速提升的核心引擎是强化学习 —— 只要任务结果能自动判断对错，就可以不断给模型反馈，让它在海量训练中变强。围棋、代码、数学题都符合这个条件：输赢、编译是否通过、答案对不对，机器自己就能判。
但开放式研究完全不同。”如果任务本身就是开放式的，我们就很难创建一个合适的环境来训练这些模型。” 卡普尔说。换句话说，如果连人类都无法简单定义 “怎样的研究才算做得好”，那就更不可能设计出一套自动化训练机制，让 AI 靠 “刷题” 获得研究品味。你没法给一个没有标准答案的问题，自动生成一个评分函数。
实验还暴露了 AI 在资源管理上的系统性缺陷。即使研究人员明确告诉 AI 不同阶段应该花多少时间、论文应该写多长，它也经常无法按要求执行。这对企业落地 AI 智能体有直接启示：不要依赖 AI 智能体自我管理时间和预算，必须在框架层硬编码资源上限和阶段检查点。OpenClaw 这类开源框架的价值，恰恰在于让开发者能介入智能体的决策循环，而不是把控制权完全交给模型。
Anthropic 联合创始人杰克・克拉克（Jack Clark）在 Import AI 中评论道，这项研究让他想起 Anthropic 此前尝试自动化 AI 安全研究时遇到的问题。他认为，如今的 AI 系统仍然缺少一种 “真正有价值、带有直觉色彩的创造力”。这些系统已经是能力极强的工程师，但仍带有机械、套路化的思维方式 —— 而这种特征，恰恰会妨碍它们成为优秀的研究者。
五、结论：递归自我改进的分叉，与企业该有的清醒判断
这项研究本身也有局限：只测试了两篇论文，原论文作者知道自己评审的是 AI 生成内容（可能影响判断），研究团队在实验设计上也有较大自由裁量空间。但即便考虑这些因素，结论的方向仍然清晰 ——AI 在开放式科研上的能力，与它在工程任务上的能力之间，存在一道目前还没有被跨越的鸿沟。
未来可能出现两种路径的分叉。在范围明确、结果可量化的任务上，AI 会继续高速进步；但在高度依赖判断力和创造力的开放式科研领域，它的发展速度可能慢得多。真正关键的问题是：递归式自我改进到底需不需要 “类似人类研究者的创造力”？卡普尔认为，回顾 AI 领域最重要的几次突破 ——Transformer 的发明、新型架构的提出 —— 都需要创造性的飞跃。但另一种假设是，实现变革性 AI 所需的一切其实已经具备，接下来只需要让模型训练得更快、benchmark 分数刷得更高。
对于企业和开发者而言，在这个分叉明朗之前，更务实的做法是：把 AI 智能体用在它真正擅长的环节 —— 工程实现、数据处理、文献初筛、实验执行，而把方向判断、假设筛选、质量把关这些需要 “研究品味” 的决策，牢牢握在人类手里。OpenClaw 这类开源智能体框架的真正价值，不是让 AI 完全替代研究员，而是让人类研究员的每一个判断，都能被 AI 高效地执行和验证。
本文侧重全链路风控方法论。落地时请用自身业务单据做回放验证，不要把示例阈值直接当生产策略。 相关：风控体检 · 方案资源
常见问题 FAQ
什么是“影子评测”？
影子评测是一种评估AI科研能力的严格方法。它从未公开的顶级会议论文中抽取研究问题，让AI从头完成研究，再交给原论文作者评审。这样能避免AI从训练数据中获取现成答案，更真实地测试其独立研究水平，就像“闭卷考试”一样。
为什么AI智能体在科研中无法像人类一样调整研究方向？
根据文章，AI智能体在方向调整上过早押注单一路线，草率放弃假设，而人类研究员会并行探索并设置止损线。这本质是AI缺乏对“研究品味”的判断力，无法基于经验和直觉评估假设的潜力，导致资源分配和放弃决策能力弱。
AI做科研失败的核心根源是什么？
核心根源是当前强化学习训练方式无法培养AI的“研究品味”。开放式科研没有标准答案，难以设计自动化评分函数；AI能执行工程任务，但无法在判断假设价值、证据充分性等主观环节做出明智决策，这限制了递归自我改进。
如何提升AI智能体在科研中的实用性？
提升实用性的关键是把AI用在擅长环节：如代码生成、数据处理和实验执行，同时人类牢牢控制方向判断、假设筛选等决策。使用像OpenClaw这样的框架，可以让人类介入智能体的决策循环，确保资源管理合理，避免AI在开放性任务上的缺陷。
递归自我改进在AI领域面临什么主要陷阱？
主要陷阱是AI在可量化任务上进步快，但在依赖判断力和创造力的开放式科研中可能发展缓慢。这导致分叉路径：工程任务自动化提升，但研究品质依赖人类监督。企业若盲目追求递归改进，可能忽视AI缺乏“研究品味”的现实风险。
未来AI科研发展可能出现什么路径分叉？
未来路径分叉指：在范围明确、结果可量化的任务上，AI会继续高速进步；但在高度依赖直觉和创造力的开放科研领域，发展速度可能慢得多。企业应等待分叉明朗，目前务实做法是结合AI的工程能力和人类的研究决策。