前沿红队
Frontier Red Team
为什么我们要认真对待大语言模型作为生物风险的潜在来源？
为什么我们要认真对待大语言模型作为生物风险的潜在来源？
Why do we take LLMs seriously as a potential source of biorisk?
2025年9月5日
我们在 Anthropic 的工作动力源于人工智能推动科学发现——尤其是在生物学和医学领域——并改善人类状况的潜力。Benchling 正在使用 Claude 帮助研究人员结构化数据、提出更好的问题、更快地生成洞察，并将更多时间投入到科学研究中。Biomni 正在使用 Claude 加速生物信息学分析，甚至自动化实验设计。
与此同时，人工智能本质上是一种双重用途技术。我们负责任地开发人工智能的一个关键原则是识别、衡量并降低恶意行为者滥用那些使人工智能对科学家和创新者如此有前景的能力的可能性。
当 Anthropic 发布 Claude Opus 4 时，我们启用了 AI 安全等级 3（ASL-3）保护措施，其中包括严格针对防止模型协助与化学、生物、放射性和核（CBRN）武器开发相关的某些任务的部署措施。正如我们当时所指出的，这是一个预防性决定——在我们的评估中模型性能的提升意味着，如果我们最先进的模型被那些试图开发此类武器且具备基础 STEM 背景的人利用，我们无法再自信地排除其提升这些人的能力。基于我们对潜在后果的评估，我们评估及相应安全措施的一个主要初始重点放在了生物武器上。在这篇文章中，我们希望进一步阐述我们对人工智能与生物风险（biorisk）的看法。
值得注意的是——但未必直观——每个前沿人工智能实验室发布的安全框架都包含对生物风险的某种提及。[1] 毕竟，前沿大语言模型（LLM）是通才；它们通常不专门用于生物应用（与其他基础模型如 AlphaFold 不同）。而且由于这种通才性质，还有许多其他安全威胁可以被优先考虑。我们理解为什么有人可能会在考虑人工智能的安全影响时对优先考虑生物风险持怀疑态度。本文将探讨这种怀疑论者可能提出的几个问题。
我们的目的不是危言耸听；关于人工智能和生物风险的讨论严格属于低概率/高影响情景的范畴。[2] 相反，我们想要阐明为什么我们认为评估这些风险并防范它们，是负责任的人工智能开发的关键要素。
人工智能与危险武器究竟有何关联？
What does AI have to do with dangerous weapons at all?
我们担心人工智能可能如何协助恶意行为者获取和开发武器，既因为它与历史上的信息和通信技术相似，也因为它与它们不同。
近年来，恐怖组织迅速采用了加密通信、加密货币和社交媒体等技术。我们对人工智能也应抱有同样的预期。正如那些寻求如何制造武器信息的人从需要获取实体小册子或手册转向搜索互联网一样，我们可以预期他们会查询人工智能。
然而，不同之处在于人工智能作为真正助手的潜力。互联网充斥着相互矛盾和误导性的信息，而且当一个人在复杂且不熟悉的过程中遇到困难时，网站无法提供实时帮助。足够先进的人工智能模型可以作为可靠信息的指南，作为关于实施过程中原本隐性且难以获取的知识的来源，以及能够立即处理数据并生成洞察的研究助手。
为什么关注生物风险？
Why focus on biorisk?
在寻求人工智能帮助的威胁行为者领域内，生物风险——以及更广泛的灾难性风险——绝非唯一的担忧。事实上，我们投入了大量资源研究人工智能对网络安全的影响，并收集关于那些通过欺诈、恶意软件开发、影响力操作等方式造成伤害的人实际使用我们平台的情报。
尽管如此，至少有两个因素使得生物风险尤其令人担忧。首先，一次成功的生物攻击的潜在后果异常严重。使用病毒进行攻击的影响可能远远超出最初目标，其传播方式与影响更局部的武器有质的区别。
其次，生物技术其他领域的进步可能降低了先前作为“被动”生物防御的一些物质障碍。例如，核酸合成成本的下降、试剂盒的标准化以及标准分子生物学设备（如 PCR 仪）的易得性，正在使物质获取不再那么成为瓶颈。人工智能模型进一步降低了信息和专业知识的障碍。因此，这种高后果与日益增长的可行性相结合，使得应对人工智能带来的额外生物风险成为一个重要的优先事项。
专家对生物学的了解难道不比人工智能模型更多吗？
Don’t experts know more about biology than AI models?
大语言模型在从金融模型到同人小说的海量数据上进行训练。在此训练过程中，它们几乎对所有事物都学到了一些东西。由于训练数据包括科学论文、书籍以及关于生物科学的在线讨论等内容，这些模型吸收了关于蛋白质结构、基因工程技术、病毒学和合成生物学的信息，以及其他一切内容。可能令人惊讶的是，随着模型的改进，这种生物学知识在多大程度上得到了扩展。
可以肯定的是，Claude 和其他大语言模型目前还不能自主地以专家水平实际进行科学研究。然而，在几项旨在测试与生物学潜在危险方面相关知识的评估中，模型正在接近——有时甚至超过——人类专家的表现。
在一年之内，Claude 从在一项旨在测试实验室环境中病毒学故障排除场景的评估中表现不如世界级专家，到轻松超过该基准线（见图 1）。
我们在多个基准测试中都观察到这种超过专家表现的行为，尤其是在分子生物学领域。
此外，这项评估中的人类基准是基于科学家在自己专业领域内回答问题。因此，不仅大语言模型能够发展出人类专家难以匹敌的跨子学科知识广度，而且在某些情况下，大语言模型在自己的领域内也超过了专家。
大语言模型的知识在应用场景中有用吗？
Is an LLM’s knowledge useful in an applied scenario?
在考虑人工智能对生物风险的贡献时，我们需要的不仅仅是它在测试中表现如何。我们需要审视涉及真实人员、并紧密反映我们实际威胁场景的评估。此外，正如我们通过比较专家来基准测试人工智能知识一样，我们需要通过比较最容易获得的替代方案——在这种情况下是互联网——来衡量人工智能的实用性。
为了满足这两个标准，我们进行了几项对照试验，衡量人工智能在协助假设的生物武器获取过程规划中的能力。参与者被给予最多两天时间来起草一份全面的生物武器获取计划。对照组只能访问基本的互联网资源，而模型辅助组则可以额外访问已移除安全防护的 Claude。（在这种有限情况下，为可信方提供无防护版本的模型访问权限，以便更准确地评估该技术的最大能力，这一点很重要。）生成的计划由生物防御专家使用详细的评分标准进行评估，该标准评估了获取途径的关键步骤。与仅限互联网的对照组相比，能够访问 Claude 4 模型——尤其是 Claude Opus 4——的参与者获得了更高的分数，并且制定的计划中关键失败点显著减少。
像这样的基于文本的提升试验是现实世界场景的不完美替代品——现实场景涉及额外因素，如隐性知识、材料获取和行为者的毅力——但它们证明了人工智能为非专家恶意行为者提供差异化优越协助的基本可能性。[3]
好吧，但我们一直在谈论信息。这如何转化为实际的实验室操作？
Ok, but we’ve been talking about information. How does this translate to an actual lab?
回答关于病毒学的多项选择题、协助基于文本的生物武器获取计划，以及实际帮助在实验室工作的威胁行为者开发生物威胁，这三者之间显然存在区别。
首先，人们可能会认为实验室生物学需要太多的隐性知识，以至于人工智能的知识提供不会产生任何效果。隐性知识包括难以言传的技术技能，比如知道与不同反应时机相关的微妙视觉线索，以及约定俗成的经验，比如协议中未写明的要素。如果这些障碍大到足以挫败任何实验室新手的所有努力，那么我们就不会那么担心人工智能将经验不足的行为者提升到构成威胁的潜力。其次，要真正验证人工智能与生物风险担忧背后场景的合理性，我们需要来自实际实验室实验的大规模证据。关于第一个问题，我们有一些初步证据，并且正在积极投资于第二种方法。
2024 年，我们使用基础生物学实验室协议进行了一次初步的湿实验室提升试验，其中一些参与者可以访问某个版本的 Claude，而其他人只能访问互联网。在这项研究中，我们没有观察到任何提升的证据。然而，我们注意到，所有参与者，包括仅限互联网的组，在实际实验室的所有任务中都表现得异常出色。因此，尽管这项初步研究没有提供关于人工智能提升的强有力证据（无论支持还是反对），但它确实表明隐性知识可能并不像许多人认为的那样是一个重大瓶颈。需要明确的是，这是一个非常小（n=8）的实验，参与者被要求执行的协议也相当基础。尽管如此，这一发现强调了扩大研究规模的重要性，这将为隐性知识的作用以及人工智能在实际实验室中提供提升的潜力提供更多见解。
为了跟进这项初步研究，我们正在通过前沿模型论坛（FMF）共同赞助一项更大的研究，以进一步调查人工智能协助人员在实验室中执行实际任务的能力。与流行病预防非营利组织 Sentinel Bio 合作，这项湿实验室研究将通过模拟我们关注的许多场景来收集证据，包括人工智能是否能够将非专家提升到能够执行专家级实验室生物学任务的程度。对照组的表现将更好地了解隐性知识在多大程度上限制了非专家在实验室中的表现，而由于本试验样本量更大，与治疗组的比较将提供更清晰的提升衡量标准。
我们期待从这项研究的结果中了解更多，这对于为我们的风险评估提供信息至关重要。
可以做些什么来应对生物风险？
What can be done to address biorisk?
信息共享
Information sharing
我们目前专注于评估人工智能模型协助非专家制造生物威胁的能力，这得益于与生物防御专家的咨询以及我们对大语言模型不断发展的能力的理解。
尽管如此，我们认识到这远非人工智能可能促成生物风险的唯一场景。我们投资研究这些场景，但政府对威胁行为者的计划和意图拥有差异化的知识和专长。我们通过与美国人工智能标准与创新中心（CAISI）和英国人工智能安全研究所的自愿合作及部署前测试所获得的见解受益匪浅，并期待有更多机会深化与政府的合作。在这种公私合作伙伴关系中，政府在理解威胁态势方面的专长与行业在前沿人工智能方面的知识相辅相成，是优化生物风险评估和缓解措施的一条有前途的路径。
我们认为，支持透明度规范非常重要——例如推动开发者制定安全开发框架（如 Anthropic 的负责任扩展政策）并发布模型危险能力评估结果——以便在模型能力不断增强的过程中，让社会了解人工智能的影响。
部署安全措施
Deployment safeguards
我们基于宪法分类器的研究开发了自动化部署安全措施。这些分类器防护通过实时监控输入和输出，并阻止一小类潜在有害信息来工作。我们将此保护应用于那些我们无法排除其可能显著提升威胁行为者能力的模型；迄今为止，这仅适用于 Claude Opus 4 系列模型，我们将其作为预防措施。（有关我们实施 ASL-3 保护的更多详细信息，请参阅此报告。）
在所有模型中，我们的安全团队监控我们平台上的活动，以寻找滥用的迹象，包括生物学的危险应用。这种监控提供了对滥用模式的洞察，并帮助我们确定是否以及何时采取执法行动。
国家行动
National action
我们很高兴看到生物安全投资成为美国新人工智能行动计划的关键组成部分。通过 CAISI 强调国家安全评估以及加强核酸合成筛查的举措，都将有助于增强对生物风险的抵御能力。
人工智能与生物风险这一主题充满了不确定性——关于威胁行为者、模型的能力，以及这些能力究竟如何转化为风险。但我们相信，越来越多关于人工智能的证据以及生物威胁的根本严重性意味着，这是人工智能开发者和政策制定者必须关注的主题。我们将分享更多关于我们在生物风险方面的工作，以推进这一关键对话。