本文来自微信公众号： 自然系列 ，作者：Nature Portfolio
一个智能体系统成功从两篇计算机论文中提取出了研究概念——但论文原作者不以为然。
AI在研究自己方面已经取得重大突破，它们能让现有算法更智能，或是直接写出新的算法。但计算机还没法取代它的制造者，arXiv预印本服务器上发布的一项研究[1]指出。
“我认为，开放式研究的全自动化还早着呢，”该预印本共同作者、美国普林斯顿大学的计算机科学家Sayash Kapoor说。
使整个科研流程自动化——从提概念到写文章再到自我评估——由东京Sakana AI公司的团队带头提出。该团队在2024年公布了名为AI Scientist的系统，今年3月又在《自然》发表了其升级版的结果[1]。
这个AI Scientist的任务是研究机器学习的漏洞。AI Scientist生成的三篇论文在一次学术会议上被送去审稿，一篇论文的得分很高，达到了接收标准。但Kapoor指出，用同行评审来评价论文的质量并不可靠，尤其对于AI研究。
往大里说，一些研究人员的疑问是：如果AI研究真的能从概念生成到论文发表实现全自动化，这样还能产生真正的突破吗？言下之意是AI更擅长优化现有技术。
为了给AI一个比同行评审更高的标准，Kapoor和同事新创了一个挑战，名为影子评价（shadow evaluation）。首先，他们选了两篇投给今年神经信息处理系统大会（NeurIPS）的论文。然后让一个AI工具基于每篇论文的研究问题自己做课题和写论文，最后再请论文原作者检验AI的成果。这么做的初衷是这些作者肯定比又忙又累的审稿人更有能力和精力来核查AI写的论文。
该团队构建其AI系统的方式为，在智能体系统OpenClaw的改良版中“驾驭”（harness）大语言模型Claude Opus 4.8，再将其嵌入一个更广泛的“脚手架”，这个脚手架包含常规指南和检查进程的步骤。“驾驭层”为模型提供各种工具，包括创建子智能体和联网的能力、软件库、运行实验的计算机处理器，以及模拟同行评审的软件。对于每篇论文来说，这个AI系统有6天时间和3000美金的算力credits。根据第一篇论文的研究方向，Kapoor团队让该系统设计一种方法，用于精确操控对话机器人的个性。而对应第二篇论文，这个系统需要为某类神经网络设计一款故障检测器。
让作者意外的是，这个系统能圆满完成做研究时的工程任务。它能在几天里跑完几百个实验，同时不会陷入无解错误的死循环。它的文献综述也很像回事，还提出了一些不大不小的发现。它还能发现自己的“造假”（也称“幻觉hallucination”），而且不会钻空子（也称“奖励作弊reward hack”）。
分数好低
但这个AI系统主要在两项指定任务上没做好，在原论文作者这里只拿到了2/6和1/6的总分。这种系统容易失败的一个地方是，它会选择一些假说进行探索，但它会过早锁定其中一种，并且当其方法不管用时没有充分回溯。随后的自我评审不够负向，因而该系统坚持其初始选择，不断缩小其主张范围，直到主张没有任何意义。
得分低的另一个原因是系统不能完全遵守指令和理解背景信息，无法很好地呈现工作成果：留下了很多时间和没有用完的算力，出来的论文无论是写作水平还是格式都乱七八糟。Kapoor说，整体上，它缺乏科研独创性，但Kapoor说有几位共同作者不赞同这一看法，对该技术的潜力更乐观一些。
“这是很有意思的工作，”联合创建AI Scientist的伦敦机器学习研究员、如今在美国初创公司Recursive Superintelligence的Cong Lu说。不过，他认为作者给他们系统设置的“护栏”不够。它的有些问题如果用约束力更大的驾驭层，就能轻而易举地解决了，比如和AI Scientist相似的一种。他说：“这是一个很有意思、非常好的数据点，和我们的很不一样，但我会用另一种方式来做。”
Kapoor是2024出版的《AI万精油》（AI Snake Oil）一书的共同作者，他承认自己有AI怀疑主义，但表示他的团队尽量给AI一个公平的机会，甚至还延长了任务期限。团队还在测试更好的模型，努力改进脚手架并收集更多论文以进行影子评估法。
Kapoor表示，虽然AI在狭义任务上已经进步不少，但现在还无法提出原创性的洞见，更不要说作者没有评估的一个因素：科研品味（research taste）——即在一开始就决定好研究哪个问题。
参考文献：
Kirgis,P.et al.Preprint at arXiv https://doi.org/10.48550/arXiv.2607.27191(2026).
Lu,C.et al.Nature651,914–919(2026).
原文以AI isn’t ready to research itself标题发表在2026年8月13日《自然》的新闻版块上
©nature
Doi：10.1038/d41586-026-02494-5