AI一年进展或压缩到五周，辛顿、 Bengio等22位顶尖学者联名警告：“智能爆炸”比想象中更近

近日，剑桥大学人工智能科学与政策项目（Cambridge Programme on AI Science & Policy，CASP）发布了一篇由 22 位 AI 领域前沿专家联合撰写的论文《如果自动化 AI 研发触发“智能爆炸”会怎样？》。 作者阵容包括诺贝尔奖得主、图灵奖得主杰弗里·辛顿（Geoffrey Hinton），图灵奖得主约书亚·本吉奥（Yoshua Bengio）、安德鲁·巴托（Andrew Barto），以及 OpenAI 首席科学家雅库布·帕霍茨基（Jakub Pachocki）、Anthropic 联合创始人杰克·克拉克（Jack Clark）、微软首席科学官埃里克·霍维茨（Eric Horvitz）等。 在论文中，他们讨论了一个核心问题：如果 AI 逐渐接管 AI 研发流程，更强的模型帮助开发下一代模型，下一代模型又进一步提高研发效率，这种循环是否可能让 AI 进步突然加速，把原本需要数年完成的技术进展压缩到几个月，甚至更短？ 论文将这种情况称为“智能爆炸”（intelligence explosion）。作者们集体认为，尽管目前还没有证据表明这一过程已经发生，AI 研发自动化带来的生产率提升也还没有跨过相应门槛。但与几年前相比，支撑这种反馈循环的条件正在快速成熟，部分趋势已经在前沿实验室内部显现。 早在 20 世纪 60 年代，英国数学家欧文·约翰·古德（I. J. Good）就曾设想，如果机器有能力设计比自己更聪明的机器，那么第一台足够强大的机器可能成为人类“最后需要制造的发明”之一。 现在，情况开始变得不同。代码生成是最明显的领域，自动化已经从写几行程序，逐渐扩展到调试、运行实验、分析结果、评估模型，甚至选择下一步实验方向。 Anthropic 今年公布的内部数据显示，截至 2026 年 5 月，公司合并进入代码库的代码中，超过 80% 已经由 Claude 编写；Claude Code 在 2025 年初进入研究预览时，这一比例还只有个位数。 到今年 8 月，在 Anthropic 内部评估的 AI 研发工作中，Claude 已经能够在只接受高层级人类监督的情况下“主导”26% 的任务，而几个月前这一比例约为 1%；超过 90% 的研发工作至少进入了较深程度的人机协作。 OpenAI 内部也出现了类似现象。今年年初，其研究人员对编程智能体的使用仍相对有限。到 8 月中旬，按照 8 小时工作日换算，OpenAI 研究部门每投入一个人类工作日，已经对应约 3.1 个智能体工作日。大量智能体同时运行，使研发工作的“人力规模”第一次可以在软件层面迅速扩张。 CASP 论文据此指出，今天最强的 AI 系统已经能够完成部分原本需要专业研究人员数小时甚至数天的研发任务，而 2023 年的模型通常只能可靠完成以秒计的任务。一些自动化科研系统还能够自行生成研究想法、运行实验并撰写论文。 论文援引的趋势外推甚至提出，如果近期能力增长持续，到 2028 年中，原本需要人类团队数月推进的部分 AI 研发项目可能进入自动化范围。不过作者也把这一预测明确描述为初步外推。 AI 研发之所以可能更早实现高度自动化，一个重要原因是它的大部分工作本来就在计算机里完成。代码可以直接修改和运行，实验结果很快就能反馈，新的方法一旦有效，也可以马上用于下一轮研发。相比之下，芯片、设备和现实实验都要受制于更长的生产和建设周期。 如果 AI 只是帮助研究人员提高效率，影响其实相对有限。22 位作者真正关注的是，当 AI 开始承担越来越多研发工作之后，这些进步是否会反过来继续加快下一代 AI 的开发速度。 这个过程可以分成两步。随着模型能力提高，AI 能够处理更多研发任务，研究团队的整体效率和规模随之扩大。更强的 AI 又会参与开发下一代模型，进一步提高研发速度。 类似的反馈机制过去也出现过。性能更强的计算机可以帮助设计更先进的芯片，工程软件也能提高下一代产品的开发效率。AI 的特殊之处在于，它很容易复制和并行运行。一个优秀的人类研究员无法同时变成成千上万个自己，同一个 AI 智能体却可以部署大量实例。算法一旦取得改进，也能很快应用到整个研发流程中。 论文据此做了一项较为激进的推演。如果 AI 达到专家级的研发能力，同时运行成本与今天的系统大致相当，一家前沿 AI 公司的现有计算资源，理论上可能支撑相当于数百万名顶尖人类研究者的自动化研发力量。不过作者也强调，目前还无法确定这种加速究竟能持续多久，最终又能达到多大规模。 论文还引入了一个名为“科研努力回报率”（returns to research effort）的指标，简单来说，它衡量的是研发投入增加后，技术进步能够以多大程度继续增长。论文采用的模型中，如果这一数值低于 1，边际收益递减占据主导，新增研究力量带来的回报会越来越小；如果等于 1，两种力量大致抵消；如果高于 1，研发力量增长带来的收益足以超过边际递减，技术进步就有可能继续加速。 论文援引对三个 AI 研究子领域历史数据的分析，给出的核心估计值在 1.2 至 1.9 之间。也就是说，从这些历史数据看，增加研发投入仍然能够带来较明显的技术进步，边际收益递减还没有强到足以压住这种增长。 在此基础上，论文做了一项条件推演。如果未来 AI 研发实现充分自动化，这一回报率继续保持在类似水平，同时算力、数据等环节没有形成新的瓶颈，那么 AI 技术进步的速度可能在大约一年半内提高 10 倍。到了那个阶段，按照今天速度需要一年取得的进展，可能只需要约五周。 其中一个限制当然是边际收益递减。容易找到的改进逐渐减少后，大量 AI 智能体可能开始重复探索相似方向，增加研发规模也很难继续带来同等比例的成果。 算力和物理资源则是另一层约束。AI 智能体可以快速复制，但 GPU、电力和数据中心无法按照同样的速度扩张，训练一个前沿模型本身也可能持续数月。软件端的研发能力即使迅速增加，真正的大规模训练仍然受到现实资源和时间的限制。 还有一些研究环节很难用明确指标衡量。写代码、运行实验通常可以快速获得结果，模型能够根据反馈不断调整；但到了研究方向选择、资源分配和长期判断这类问题，往往没有现成的标准答案。系统可以同时完成大量实验，却很难准确判断哪些结果真正重要、哪些方向值得继续投入。 当然，论文也提到了 AI 自动化研发可能带来的正面影响。更快的研发速度，有望让药物、新材料等领域的技术成果更早出现，一些原本需要多年推进的研究，也可能明显缩短周期。 但相对于此，22 位作者更关心的问题是，当 AI 研发本身开始持续加速，社会是否还能跟上这种变化。如果 AI 能力的迭代周期从“年”缩短到“月”甚至“周”，留给评估、监管和调整制度的时间也会随之减少。 围绕这一点，论文重点讨论了三类风险。第一类，是技术能力的增长速度超过社会的调整能力。网络攻击、生物技术滥用、劳动力市场变化等问题，都可能随着 AI 能力提升而提前出现，但现实世界中的防御措施往往需要更长的准备周期，包括基础设施建设、制度调整、产品生产和人员组织。 论文举了一个例子。AI 可以同时加快病毒设计和疫苗研发，但两者进入现实世界后的速度并不对等。病毒能够自行复制和扩散，疫苗则需要经过生产、运输和接种。即使 AI 同时提高了“攻”和“防”两端的研发效率，现实中的防御体系仍可能因为生产和部署周期更长而落后一步。 第二类风险来自监督能力下降。随着越来越多研发环节由智能体自主完成，人类直接参与其中的程度可能逐渐降低，对系统内部发生了什么，也会越来越难保持充分了解。 作者担心，如果未来 AI 进一步参与下一代模型的训练和设计，一个系统中存在的错误、偏差或不符合人类意图的行为，也可能被带入后续系统，并在连续迭代中被进一步放大。论文指出，在极端情况下，人类甚至可能逐渐失去对高度自主 AI 系统的有效控制。 第三类风险涉及权力结构。如果某家公司或某个国家率先获得显著更强的 AI 研发能力，原本有限的技术领先可能在连续迭代中迅速扩大，并进一步改变企业之间、国家之间，以及不同公共机构之间原有的力量平衡。 基于这些判断，22 位作者提出了应对方向。首先，是建立更系统的监测和报告机制，让监管机构能够了解前沿 AI 公司有多少研发工作已经交给 AI，自动化程度又在以什么速度提高。其次，是提前准备第三方审计、安全评测、隔离环境，以及在出现严重异常时暂停部分 AI 研发任务等措施。 其实，类似的警告近来已经并不少见。9 月中旬，英国皇家学会数十位院士联名致信，要求学会宣布 AI 发展速度已经构成“紧急状态”；几乎同一时间，Anthropic CEO 达里奥·阿莫迪（Dario Amodei）发表长文呼吁“放慢前沿”，OpenAI 和马斯克随后也公开表示支持。 但到目前为止，这些表态大多还停留在自愿承诺层面，没有形成真正具有约束力的机制。它们覆盖的也主要是少数几家美国头部公司，开源阵营和其他国家的实验室并不在同一套规则之内。甚至有评论认为，在几家公司筹备上市、竞争持续升温的背景下，“减速”的表述也带有维护企业形象的意味。 不过，它至少提出了一个和此前“减速”呼吁不太一样的角度。论文没有直接要求谁停下来，而是先追问一个更基础的问题：前沿公司究竟有多少研发工作已经交给 AI，这个比例又在以多快的速度上升。 如果“减速”最终仍然只能依赖企业自觉，那么至少应该有一套外部可以核查的数据，让外界知道它们到底有没有慢下来，也让人判断 AI 研发自动化究竟已经走到了哪一步。