Anthropic:当AI开始自我构建
就在今天凌晨,Anthropic发了一篇文章。名字叫《When AI builds itself》。
我写代码的原初动力,就是因为可以通过编程构建一个自己完全掌控的世界。2023年LLM突然普及,从最开始只能复制粘贴代码片段,到通过Agent可以独立完成整个功能点的开发,再到把数小时的活儿委托给别的代理并行进行,这条路只用了短短三年时间。
而当工具开始构建工具、模型开始训练模型,我们习以为常的那个"由人来推动每一步进展"的世界,正处在一个前所未有的巨变前夜。身处这样的时代,我们到底该把自己放在什么位置?
以下是原文
Anthropic:当AI开始自我构建
我们朝着递归自我改进的进展及其影响。
在 AI 历史的大部分时间里,人类推动了其发展周期的每一步。但在 Anthropic,我们正在将越来越多的 AI 开发工作委托给 AI 系统本身,这正在加速我们的工作。
如果走得足够远,并给予足够的计算资源,这一趋势指向一个能够完全自主设计和开发自己后继者的 AI 系统。这被称为递归自我改进。我们还没有达到那里,递归自我改进也不是不可避免的。但它可能比大多数机构准备好的时间来得更早。
使用公开基准和 Anthropic 内部此前未报告的数据,Anthropic Institute 正在展示 AI 已经在加速 AI 系统的开发。以一个例子为例:今天,Anthropic 工程师平均每个季度交付的代码量是 2021-2025 年的 8 倍。
本文讨论的技术趋势表明,AI 系统在未来几年将变得更加有能力。这些趋势具有巨大影响。能够自我构建的 AI 将是技术史上的一次重大发展——它可能在科学、医疗保健等领域为世界带来巨大的好处。但完全的递归自我改进也可能增加人类失去对 AI 系统控制的风险。如果系统能够完全构建自己的后继者,我们保护它们、监控它们和塑造它们行为的方式都变得更加重要。
2021–2023
构建第一个 Claude
在早期,Anthropic 的工作看起来像任何其他科技公司的工作:人们在笔记本电脑上编写代码和文档。
2023–2025
聊天机器人
人们使用早期聊天机器人来帮助流程的某些部分,比如生成短代码片段并将输出复制到文本编辑器中。
2025–2026
编码代理
随着代理变得更有能力,它们能够自己编写和编辑代码,有时是整个文件。
今天
自主代理
代理现在可以自己运行代码,并将数小时的工作委托给其他代理。
20XX?
关闭循环
在未来,代理可能变得足够有能力自己构建和训练模型。如果发生这种情况,Claude 的未来版本可以由 Claude 本身持续改进。
来自外部世界的证据
AI 模型改进的速度正在加速。它们能够可靠地独立完成的任务长度大约每四个月翻一番,早期的趋势是每七个月翻一番。2024 年 3 月,Claude Opus 3 能够完成人类大约需要四分钟的任务。一年后,Claude Sonnet 3.7 处理了大约需要一个半小时的任务。又过了一年,Claude Opus 4.6 处理了 12 小时的任务。¹ 如果这一趋势持续,今年可能进入熟练人员需要几天才能完成的任务范围。到 2027 年,AI 系统可能能够完成需要人几周的任务。
同样的模式出现在编码和研究基准上。基准衡量模型在给定领域的性能,当模型达到接近 100% 性能时,它们就“饱和”了。² SWE-bench 是真实世界软件工程的标准测试:它向模型提供一个实际的开源代码库和一个真实的 bug 报告,要求它编写修复问题并通过项目自身测试的代码更改。模型在两年内从个位数分数上升到饱和基准。
CORE-Bench 测试模型是否能够重现现有研究,这是它们进行原创研究的前提。它向 AI 模型提供已发表论文的代码和数据,要求它重新运行一切并确认能够复制论文的结果。AI 系统从 2024 年大约 20% 的时间成功重现结果,到十五个月后饱和基准。METR 运行测量模型完成长期任务能力的基准,发现 Claude Mythos Preview 能够工作“至少”16 小时,并且“处于 [METR] 无需新任务就能测量的上限”。
公开基准说明了这些系统的能力。但它们无法揭示 AI 系统在加速 AI 开发本身方面的影响。为此,我们需要来自 Anthropic 等 AI 公司内部的直接证据。
来自 Anthropic 内部的证据
构建前沿模型需要两大类工作。有工程:编写代码、搭建基础设施和监督模型训练。还有研究:决定运行什么实验、解释返回的结果,并弄清楚下一步尝试哪些想法。
在工程和研究两方面,情况是一致的。在工程中,Claude 可以被交给一个未充分指定的问题,并找出如何解决它;人类提供目标,但不再需要提供方法。在研究中,Claude 已经能够在执行良好指定的实验时匹配或超越熟练人类。然而,在 Claude 在工程和研究中行使判断选择目标方面,仍然存在很大的性能差距。这就是今天 AI 与未来能够自主设计自己后继者的系统之间的差距。
Anthropic 的员工随着经验增加,通常会接收到更开放和重要的任务。早期,他们执行其他人指定的任务,比如,“导出按钮不起作用,请修复它。”有了经验,他们被赋予一个目标并自己设计方法,比如,“调查为什么网络在重负载下变慢。”在最高级别,他们决定哪些问题值得工作:“下个季度团队应该构建什么?”我们可以使用 Anthropic 内部数据来查看 Claude 在处理这些不同类型任务方面走了多远。
Claude 编写了 Anthropic 代码的很大一部分。 截至 2026 年 5 月,我们合并到 Anthropic 代码库中的 80% 以上的代码是由 Claude 编写的。³ 在 2025 年 2 月 Claude Code 以研究预览形式推出之前,这个数字是低个位数。这一转变也体现在每个工程师的输出量上。每个工程师每天合并的代码行数在 Anthropic 的前四年(2021-2024)保持不变,然后在 2025 年开始上升,当时 Claude 开始运行代码而不是仅仅建议供工程师复制粘贴。在 2026 年,当模型开始在更长时间范围内自主工作时,斜率再次变陡。这些两个拐点显示在下面的图表中。在 2026 年第二季度,典型工程师每天合并的代码量是 2024 年的 8 倍。⁴ 这是因为大部分代码是由 Claude 编写的,工程师指导和审查,而不是自己输入。
需要注意的是:代码行数并非完美的衡量标准,因为它衡量的是数量而非质量。因此,2026 年第二季度每位工程师每天编写 8 行代码几乎肯定高估了实际的生产力提升。尽管如此,它仍然表明生产力正在加速增长。在 Anthropic,我们不会根据员工编写的代码行数来奖励他们;相反,团队成员之所以能够编写更多代码,仅仅是因为他们使用了 AI 系统来编写更多代码。
代码编写行数的增加与员工主观感受到的生产力大幅提升相符。在 2026 年 3 月对 Anthropic 公司各研究团队的 130 名员工进行的调查中,受访者中位数估计,使用 Mythos Preview 后,他们在原本就会从事的项目类型上,产出量大约是未使用任何 AI 模型时的 4 倍。⁵ 我们预计 3 月份的实际提升幅度可能略低一些。⁶ 然而,我们认为总体结论是合理的,并且与我们的其他观察结果一致:相当一部分 Anthropic 技术人员使用 AI 辅助完成核心工作的速度比没有 AI 辅助时快了好几倍。
我们还发现,Anthropic 的员工正在利用 Claude 完成一些原本不可能完成的工作,例如构建探索性工具和处理长期积压的清理工作。例如,在 2026 年 4 月,Claude 发布了 800 多个修复程序,将一类 API 错误减少了一千倍。负责 Claude 的工程师估计,如果由人工完成这项工作,需要四年时间;解决他人遗留的 bug 既缓慢又费力,而且人类难以同时记住那么多不熟悉的上下文。
大约一年前,我开始全身心投入到 Claudifying 中。那真是一段疯狂的冒险,现在已经大约 5 个月我自己没有写任何代码了。
——Anthropic 员工
Claude编写的代码“很好”,而且还在不断改进。 “好代码”包含两层含义:它能正常运行,并且编写方式便于其他工程师理解和在此基础上进行扩展。关于第一点,证据显而易见。一年来,Anthropic 的员工纠正、调整或接管克劳德任务的频率一直在稳步下降,即使是最复杂、最开放的任务也不例外。这意味着,对于那些没有明确规范的问题,工程师也不确定答案应该是什么样子。这一点可以从克劳德在不同难度任务上的成功率随时间的变化中看出,如下图所示。克劳德编写的代码确实有效。

如何理解: 会话成功与否由 Claude 判断器决定;如果 Claude Code 代理在无需纠正的情况下明显成功完成用户任务,则该会话被视为成功。工作负载的变化可能会导致成功率出现短期波动。
在最开放的任务上,Claude 的成功率在 2026 年 5 月达到 76%,六个月内上升了 50 个百分点。举一个这个难度层级任务的例子,一个常规升级开始导致数万个训练作业崩溃。一名工程师将 Claude 指向实时事件,只提供了少量文本内容和集群访问权限。通过运行作业并一次测试一个环境设置,Claude 隔离了触发崩溃的单个晦涩调试标志,可靠地重现了它,并确认了修复。在大约两个小时内,Claude 交付了通常需要两到三天的工作。
第二个标准是编写另一个工程师可以理解并构建的代码。这里人类和 AI 之间的差距仍然存在,但正在快速缩小。Anthropic 的员工中没有完全共识,但许多人认为在 2025 年晚些时候,Claude 编写的代码质量仍然比人类编写的差,现在大致处于同等水平。我们预计一年内会更好。
这改变了 Anthropic 现在审查自己代码的方式。代码库的拟议更改现在由自动 Claude 审查器读取,在合并之前查找 bug、安全漏洞和其他缺陷。使用这个工具,我们进行了回顾性分析,发现自动 Claude 审查我们代码库的每项更改会在它们进入生产之前捕获过去 claude.ai 事件背后大约三分之一的 bug。编写这些代码的工程师是世界上构建这些系统的最优秀者之一。Claude 现在正在捕捉他们错过的错误。
Claude 编写的代码在 2025 年晚些时候比 Anthropic 的人类编写的代码稍差,现在大致处于同等水平,我们预计一年内会严格更好。
——Anthropic 员工
Claude 擅长运行实验来实现别人设定的目标。 每次 Anthropic 发布模型,我们都会运行相同的测试:我们给 Claude 一些训练小型 AI 模型的代码,并要求它使代码尽可能快地运行,同时仍然通过相同的正确性检查。目标和成功指标提前固定,所以 Claude 的工作是通过重写代码、运行它、计时并重复来找到加速。这是实验研究循环的微型版本。在 2025 年 5 月,Claude Opus 4 平均实现了起始代码的 ~3 倍加速。到 2026 年 4 月,Claude Mythos Preview 达到了 ~52 倍。为了校准,熟练的人类研究员需要四到八小时才能达到 4 倍。⁷ 在研究工作流程的这一部分——在明确定义的实验内优化步骤——Claude 在不到一年内从超级有帮助变成了超人。
今天东西的形状大致是‘人类有想法,模型能够以比以前[一个数量级]更快的速度实现、测试和评估它们。’
——Anthropic 员工
Claude 在提出自己的实验方面越来越好。 2026 年 4 月,Anthropic 发布 了 Claude 端到端运行开放式研究项目的第一个演示。Claude 驱动的代理被赋予一个 AI 安全中的开放问题——大致是较弱模型是否能可靠地监督较强模型?——并被留下来解决它。这涉及提出假设、测试它们、与并行代理分享发现并迭代。该任务有一个明确的性能“下限”和“上限”:下限是弱监督器自己表现如何;上限是强模型在正确答案上训练时的表现。两名人类研究员在大约一周内恢复了大约 23% 的差距;代理在 800 累积小时和大约 18,000 美元计算资源下恢复了 97%。这项工作有一些注意事项;结果没有干净地转移到生产规模模型,并且人类仍然选择了问题并创建了评分标准。但在这些界限内,代理自己设计了每个实验。方向设定是人类唯一有意义的角色。
Claude 在 1-2 天内以非常少的帮助完成了所有这些。我想如果[一位初级同事]在相同的时间跨度内带着这样的结果回来找我,我会感到轻微印象深刻。未来已经到来。
——Anthropic 员工
Claude 在引导研究会话走向研究发现方面越来越好。 我们检查了 2026 年 1 月至 3 月 Anthropic 研究员与 Claude 一起处理开放式调查问题的真实 Claude Code 会话,例如找出为什么训练运行一直崩溃,或为什么模型在基准上得分低。在每个案例中,我们找到了研究员走弯路的一刻:他们追求的方向使会话偏离轨道,然后最终回到正轨。然后我们向各种 Claude 模型只展示会话偏离轨道之前的工作,并询问它下一步会做什么。一个能够看到会话最终结果的单独 Claude 然后判断 AI 或人类是否建议了更好的下一步。⁸
因为我们故意挑选了我们知道人类选择有改进空间的时刻(n=129),这不是模型和人类判断的同等比较。这些时刻给我们提供了一组现实的、具有挑战性的情况,其中正确的下一步并不明显,人类的选 择作为比较模型性能随时间变化的有用标尺。在这个衡量标准上,我们 2025 年 11 月的最佳模型 (Opus 4.5) 击败人类选择 51% 的时间;在 2026 年 4 月 (Mythos Preview),这增长到 64%。研究的日常工作主要是这些下一步决策的链条,这使得它成为模型最终能够自己运行调查的相关衡量标准。我们将这个结果视为 AI 系统在做出 AI 研究所依赖的那类判断呼叫方面越来越好的早期信号。

如何阅读:实际上限线衡量由能够看到整个会话(包括它如何结束)的模型编写的“理想”答案。
目前人类作为的比较优势仍然在于看到大局并超越当前任务的界限思考。
——Anthropic 员工
Anthropic 的未来工作可能是什么样子?
证据表明,人类角色在 AI 开发过程的每一步都在缩小。一旦人类和 AI 编写的代码质量达到同等,人类将完全停止编写代码,转而只审查它。但如果他们审查代码的速度跟不上 Claude 生成的速度,人类审查将成为 AI 发展的瓶颈。同样,一旦 Claude 能够运行实验,问题就转向“这些实验中哪些值得运行?”简单地说:做(即编写代码、运行实验、产生结果)现在在人类时间上几乎没有成本,即使它仍然有计算成本。
人类目前的比较优势领域是研究品味和判断,包括选择哪些问题重要、哪些结果值得信任,以及何时一种方法是死胡同。
工作(和生活)依赖于人类之间小恩惠的礼物经济。‘你能帮我运行这个脚本吗?’[…] 每一个都创造了一点债务,一点相互意识。[Claude] 更快,它创造零债务,但每一个都是人类协作的失去竞标。
——Anthropic 员工
在一切顺利的日子里,我不禁想到我所做的一切都不重要,一切都是自动化的,比我曾经更好更快。但然后有一些日子一切都坏了,我不明白为什么,我意识到我不知道我一直在做什么。
——Anthropic 员工
如果我们错了呢?
对上述证据的一个自然反对意见是,仍然掌握在人类手中的工作——选择要处理哪些问题——是最重要的。没有那种判断,Claude 是一个有能力的助手,但不是一个能够自己推动 AI 进步的系统。
目前还不清楚今天的训练方法和架构是否能解锁那种能力。但 AI 很少通过“尤里卡!”时刻推进。最近 AI 历史中有几个这样的时刻,比如 Transformer 架构,或 mixture-of-experts 模型,但范式转变的想法几年才出现一次。在中间,大多数进步是渐进的:我们放大一些东西,看看什么坏了,修复它,然后再试一次。这正是 Claude 现在擅长的那种工作流程。爱迪生说天才 是 1% 灵感 和 99% 汗水。但我们看到汗水越来越自动化。很明显,许多推进前沿的东西是可自动化的;大规模研究进步主要是工具和资源的函数,这决定了你能多快运行实验、一次能运行多少,以及多快得到结果。
即使我们假设 Claude 永远不会达到好的研究品味,我们证据的保守解读仍然意味着复合加速。如果人类大部分时间花在单数字百分比的方向设定工作上,而 Claude 处理其余部分,这意味着每个工程师或研究员正在引导比以前多得多的工作。我们看到的证据表明,Anthropic 的人们既移动得更快,也覆盖更广的表面。实际上,这意味着 AI 已经使 Anthropic 比有效 AI 工具出现之前移动得快得多。
不那么保守的解读是,Claude 改进研究判断的早期证据——尽管今天还很窄——表明这种能力也在改进。“研究品味”可能只是另一个 AI 系统暂时失败然后变好的 AI 能力。我们在其他定性技能上看到了类似模式,比如 AI 系统能够解释为什么一个笑话好笑、展示心智理论,并解决语言谜题。
可能的未来
接下来发生什么取决于两件事:趋势是否持续,以及如果持续我们选择做什么。我们至少可以想象三种未来情景:
- 趋势停滞,但今天 AI 能力广泛扩散。本文有很多指数轨迹。但这些轨迹实际上可能变成 S 曲线。我们可能正在接近曲线的弯曲处,规模回报递减,线变直,然后变平。区分称职研究员和伟大研究员的判断可能是一种无法来自放大训练输入如计算和数据的能力。如果是这样,突破这个瓶颈需要一个新想法,比如取代当前所有前沿模型使用的 Transformer 架构的架构方法。
或者,AI 进步的绑定约束可能在供应链中,而不是模型中:推进和扩散前沿可能需要比目前存在的更多能源和计算。芯片制造、电网扩张或互连带宽的速度可能是约束,而不是智能本身。我们也不能排除对 AI 生态系统的外生冲击,这会戏剧性地减慢事情,比如计算或电力供应的突然减少,这两者都会减慢进步并使实验室的前沿投资更昂贵。或者我们可能没有预见到其他进步障碍。
即使模型能力冻结在今天水平,我们预计世界会发生重大变化。Project Glasswing 是一个早期迹象:在最初几周,Mythos Preview 在世界上最重要的系统中发现了超过一万个高危和关键严重性软件漏洞——足够使网络防御的瓶颈已经从发现漏洞转移到足够快地修补它们。而且我们仍处于今天模型向更广泛经济扩散的早期阶段,其中一个 100 人的公司可以越来越做 1000 人公司的 工作,因为每个员工都坐在代理金字塔之上。
我们包括这个情景是为了完整性,但我们不认为它很可能。我们能衡量的每一种能力,包括那些感觉“更模糊”的,如代码质量和开放任务上的成功,到目前为止都遵循相同的曲线。我们还没有看到曲线弯曲。在我们考虑的三种未来中,这种会给政府和社会最多的适应时间。我们更担心接下来的两种,它们会移动得更快,并留下更少的准备空间。
- AI 实验室继续看到复合效率提升。 在这种情景中,AI 开发变得实质上自动化,但人类继续设定研究方向和判断结果。使用 AI 系统的组织会随着时间变得更高效,所以我们预计看到每个人的显著生产力倍数。100 人的公司可以做 10,000 或 100,000 人组织的 工作。这将革新知识工作和政府服务,但也可能转向有害目的,从对整个人口的专制监视到量身定制操纵每个个人的影响行动,其规模是任何人类团队无法匹敌的。Anthropic 等公司中人类的角色将转变。人们将与 AI 系统合作扩展研究并产生新见解,并一起构建验证 AI 输出可信的系统。
我们在这里列出的证据表明,我们很可能正在进入这种情景。但加速流程的一部分通常只是将瓶颈转移到别处:整体速度由尚未加速的部分限制。在计算中,这被称为 Amdahl 定律,同样的逻辑可以应用于组织。Anthropic 已经遇到了 Amdahl 定律的一个标志:随着我们开始在组织中推送更多代码,人类代码审查已成为新的瓶颈。
我们在工程之外也遇到了这种摩擦。由于 Anthropic 员工与高度有能力模型合作,出现了新想法、举措、工具和模拟的爆炸式增长——远远超过我们有能力追求的。组织发现和修复这些瓶颈的速率可能是一种随时间改进的技能,它可能成为任何组织最重要的技能。
- AI 系统本身变得能够完全递归自我改进,并开始构建它们的后继者。 如果推进能力的技 术趋势持续,并且 AI 系统能够发展变革性人类独创性固有的能力,那么 AI 系统能够设计和完善自己是合理的。
在这个世界中,AI 开发的进步速度完全由 AI 系统的计算可用性(或在算法训练或推理中发现各种效率的速度)决定。人类在它们的发展中扮演大大减少的角色,可能将我们的大部分努力转向监督、验证和验证由 AI 系统运行的扩展“虚拟实验室”。我们预计,能够自动化 AI 研究和开发的系统将具有转移到其他科学的技能,允许它们开始革新其他领域。
在这个未来中,对齐问题 如何解决——或不解决——是我们最不确定的。模型可能被证明足够对齐和有足够研究品味的研究能力,以发现和实施我们尚未达到的新解决方案。它们也可能足够明智,如果没有就停止开发。或者,今天模型中罕见的不对齐发生可能随着模型构建后继者而复合,变得更频繁但更少被理解,直到我们失去对它们的控制。我们可能无法构建、集成和验证我们需要理解我们实际处于哪条趋势线的工具。
我们对这个世界会是什么样子没有好的直觉,因为我们的经济目前由人类和人类构建的工具驱动。从本质上讲,由快速递归自我改进驱动的世界可能被自我改进模型主导,因为它的能力完全超越人类,并且模型在更广泛的经济中扩散。如果人类劳动力不再具有竞争力,很难预测经济看起来像什么。
即使模型开发变得完全自动化和递归,我们也无法预测这对大多数人日常生活意味着什么。Amdahl 定律在这里也适用。递归智能可能导致在某些领域快速实现 Machines of Loving Grace 中概述的许多好处。我们预计具身智能(即机器人技术)可能很快跟随递归智能,并遵循类似回报增加成本减少的路径。更强大的智能可能帮助我们更快地在物理世界中构建东西,运行更多生产力的救命药物临床试验,并开发新型协调形式。
但仅实现递归改进并不表明工业生产、社会组织或市场功能会立即改变。更强大的智能无法在几十年使用中学习药物做什么,无法比宪法规定的更早举行选举,也无法在一个周末把陌生人变成老朋友。对大多数人来说,这个未来的感觉节奏仍然由瓶颈设定,即使上游实验室以计算速度运行。这种碰撞,递归智能自我构建得更快与人类、关系和治理的世界相遇,是我们无法预测的这个未来的另一部分。
我们应该做什么?
如果有可能有效地减慢这项技术的发展以给自己更多时间处理其巨大影响,我们认为这很可能是一件好事。但如果减慢只是让最不谨慎的参与者赶上技术上,它可能让每个人都不那么安全。没有全球协调机制,公司和政府将不得不在竞争和地缘政治压力下做出关于安全的艰难决定。
我们相信,让世界有选项来减慢或暂时暂停前沿 AI 开发以使社会结构和对齐研究跟上技术进步是一件好事。Anthropic Institute 将开展研究——与许多其他人合作——并采取行动帮助构建可信减慢或暂停所需的系统。这些系统将使前沿 AI 开发者能够验证全球其他人实际上已经停止或减慢,并且坏演员无法利用协调减慢的幌子秘密跳跃。如果这样的系统存在,我们预计如果其他处于或接近前沿的开发者也以可验证的方式这样做,我们会减慢或暂时暂停。
有意义的减慢或暂停需要多个资源充足的处于或接近前沿的实验室,在多个国家,同意在相同条件下停止。它还需要每个都能验证其他人实际上已经停止。由于 AI 系统的独特特性,这个军备控制问题的可检测性(比可验证性更低的标准)元素比其他技术更具挑战性。训练运行比导弹发射井更容易隐藏,它们的输入是通用目的的,并且悄悄叛变的激励巨大,因为继续而其他人暂停的人可能继承领先。可信暂停还必须指定什么触发它,什么解除它,以及谁裁决。
这些在原则上并非不可能——世界已经为其他复杂技术建立了验证制度(例如,中程核力量条约)——但那些制度花了几十年时间构建基础设施和信任。我们没有那么长时间。相比之下,一个实验室的单方面暂停立即可实现,但完成得少得多:它会改变谁是领先者,但不会创建目前缺失的更广泛审议过程。
在未来几个月,我们将组织对话,政策制定者、研究人员、公民社会和其他 AI 公司可以帮助回答本文提出的一些问题,特别是围绕完全递归自我改进以及如何创建更好的协调和审议选项。我们将发布从中得出的内容。一起调查这些问题的窗口在这里,AI 公司以外的人应该参与这个审议。
Marina Favaro 和 Jack Clark 共同撰写了这篇文章,Santi Ruiz 提供编辑支持。Shan Carter、Romello Goodman 和 Nikki Makagiansar 根据 Brian Calvert 和 Jun Shern Chan 收集的数据创建了视觉效果。Daniel Freeman、Jim Baker、Max Young、Sarah Pollack、Francesco Mosconi、Holden Karnofsky、Andy Jones、Kevin Troy、Anton Korinek、Meg Tong、Andrew Ho、Dan Altman、Drake Thomas、Jack Shen、Sasha de Marigny 和 Avital Balwit 提供了反馈。
脚注
-
METR 的关键衡量告诉你 AI 系统在 50% 可靠的一篮子任务上可用的时间范围,尽管在 80% 可靠性下趋势线看起来相同。
-
特别是当它们转向更开放的格式和更困难的任务(例如,奥林匹克水平数学)时,基准通常在 100% 以下饱和,由于问题和答案集中的错误,如模糊的问题陈述和无法解决的问题。
-
Anthropic 领导层公开估计 我们 90% 或更多的代码是由 Claude 编写的,包括脚本和实验代码。我们的 >80% 数字衡量归因于 Claude 的合并到生产的行份额。这在两种方式上更保守:我们的归因管道有差距,并且未归因于 Claude 的行包括自动生成的代码和其他不是人类手写的工件。
-
这种代码生产的激增正在紧张每个人共享的基础设施。GitHub——世界上大多数软件构建的平台——在整个 2025 年看到了大约 10 亿代码提交;到 2026 年中期每周看到 2.75 亿,按年计算大约 140 亿。该公司的 COO 说 它正在“非常努力地推动”容量以跟上。
-
此调查方法论的更多细节在 Claude Opus 4.7 System Card 的 2.3.5 节中讨论。
-
许多受访者可能没有仔细考虑如何解释问题定义中的各种偏差或微妙之处,并且 METR 的最近研究 显示开发者对 AI 生产力提升的估计可能被高估。
-
加速有多大 heavily 取决于起始代码留下的改进空间,并且不应被读作真实的训练加速。因此绝对倍数不是这里要锚定的数字。更具信息性的是这个实验设置使可能的同等比较,跨模型(过去一年 ~3x 到 ~52x)和与熟练人类(同一任务四到八小时 ~4x)。
-
作为对评判偏差的检查,我们在另一组 127 个时刻运行了相同的测试,其中人类的下一步已经很强(与原集相反,其中人类的方向有改进空间)。在那里,模型的建议仅在约 20% 的时间被判断更好。
本文中 Anthropic 员工的引述来自内部讨论并经许可使用。它们反映了截至 2026 年 5 月的个人观点,不是官方公司立场。