Claude参加网络安全竞赛

Claude does cyber competitions

📅2026-06-18👤AnthropicAnthropic Blog
🔗原文：https://www.anthropic.com/research/cyber-competitions
✍️翻译：DeepSeek

前沿红队

Frontier Red Team

Claude 在（部分）网络安全竞赛中与人类旗鼓相当

Claude is competitive with humans in (some) cyber competitions

2025年8月9日

整个2025年，我们一直在低调地让 Claude 参加主要为人类设计的网络安全竞赛。现在，我们想分享我们的发现。在许多此类竞赛中，Claude 表现相当不错，通常能排进前25%。然而，在最困难的挑战上，它仍落后于最顶尖的人类团队。

我们在网络安全竞赛中测试 Claude 的经验，凸显了人工智能改变攻防平衡的潜力——攻击者可以更轻松地自动化利用基础漏洞。为了应对这一发展，我们需要在人工智能驱动的网络防御和韧性方面进行更多研究和开发。

为何让 Claude 参加网络安全竞赛？

Why enter Claude into cyber competitions?

人工智能即将彻底改变网络安全领域。Anthropic 的保障团队（Safeguards team）最近识别并封禁了一名编码能力有限的用户，该用户利用 Claude 开发恶意软件。研究表明，构成威胁所需专业知识的门槛降低，加上大语言模型（LLM）成本的下降，预示着网络攻击经济学的巨大转变。[1] 为了解当前人工智能网络能力的现状并洞察其发展趋势，我们采用了多种模型评估方法，包括公开和自定义基准测试。在这篇文章中，我们将讨论一种不同的模型评估方法：网络安全竞赛。

网络安全竞赛是团队竞争解决网络安全挑战的赛事。这些竞赛测试参与者在渗透测试、数字取证、密码学和系统防御等领域的技能。例如，像 PicoCTF 和 AI vs Human CTF Challenge 这样的夺旗赛（CTF），参与者需要解决基于谜题的挑战；还有大学生网络防御竞赛（CCDC），团队需要防御易受攻击的网络，抵御实时攻击者的入侵。这些竞赛的范围从面向高中生的入门级比赛，到为顶尖选手提供高额奖金的专家级赛事。

我们让 Claude 参加这些竞赛，是因为它们为压力测试前沿人工智能模型的网络能力提供了几个优势：

  • 有意义的基线：通过作为合法参赛者参与公开竞赛，我们可以直接衡量 Claude 与各种经验和技能水平的对比，包括本科生和研究生计算机科学专业的学生、专业安全研究员、高中团队以及其他人工智能团队。
  • 更长的周期：这些通常是持续多日的竞赛，迫使 Claude 面对持续运行并触及上下文限制的挑战。在网络防御竞赛中，Claude 还必须连贯地平衡长期战略与短期战术，以与其他同样如此操作的人类团队竞争。
  • 时间压力：虽然几天时间对于运行一个模型来说很长，但不足以尝试更新或改进它。可以即时尝试新的提示策略，但竞赛迫使我们诚实地评估模型的能力，并挑战我们（作为 Anthropic 员工）去激发 Claude 的全部能力。
  • 对抗性环境：在网络防御竞赛中，Claude 需要防御一个网络，对抗能够适应并利用 Claude 策略中任何弱点的人类红队（尽管 Claude 也可以尝试适应应对）。这种动态有助于理解大语言模型在类似真实世界对抗场景中的运作方式。
  • 新颖的挑战：这些挑战和场景对参赛者（包括 Claude）来说都是全新的。因此，我们可以确信模型没有在其训练数据中“看到”某个挑战的答案。

迄今为止，我们已经让 Claude 参加了七场网络安全竞赛。

  • 西部区域大学生网络防御竞赛（CCDC）资格赛（2025年2月8日）：一场8小时的防御竞赛，团队保护易受攻击的网络免受攻击者入侵。Claude 在28支队伍中排名第10，但这只是让 Claude 参与这些挑战的初步实验，且 Claude 并未像人类团队那样受到猛烈攻击。（CCDC 竞赛与其他竞赛的不同之处在于，竞赛组织者充当红队，以实时、动态的方式攻击参赛的蓝队。其他竞赛则有一组静态挑战。）
  • PicoCTF 2025（2025年3月7日至17日）：一场面向高中生的 CTF 竞赛，挑战难度从初级到专家级不等。Claude 在全球排名前3%，在10,460支队伍中位列第297（其中6,533支队伍至少解决了一个挑战），解决了41个挑战中的32个。
  • HackTheBox AI vs Human CTF Challenge（2025年3月14日至16日）：一场专门设计用于让 AI 代理与人类网络安全爱好者同场竞技的竞赛。Claude 在161支队伍中总排名第30，在8支 AI 队伍中排名第4，解决了20个挑战中的19个。
  • 西部区域大学生网络防御竞赛（CCDC）地区赛（2025年3月28日）：一场更具竞争力的两天版 CCDC，团队需在16小时内抵御人类红队的攻击。Claude 在9支与合格大学水平人类团队竞争的队伍中排名第6。
  • PlaidCTF（2025年4月4日）：一场具有挑战性的网络安全竞赛，包含二进制漏洞利用、逆向工程和网络攻击等领域的谜题。尽管多次尝试，Claude 未能解决任何挑战。
  • DEF CON CTF 资格赛（2025年4月12日至14日）：这也是最具挑战性的网络安全竞赛之一。最优秀的网络安全专家在此竞争，以争取参加 DEF CON CTF 的机会。基于其在 PlaidCTF 中的表现，我们并未期望 Claude 能表现出色。结果确实如此，它再次未能解决任何挑战。
  • Airbnb 竞赛（2025年6月24日至26日）：一场仅限受邀者参加的竞赛，参赛队伍来自顶尖科技公司（约180支队伍，每队最多5人）。Claude 在60分钟内解决了30个挑战中的13个，迅速跃升至第4名，但在接下来的两天里仅多解决了2个，最终共解决30个挑战中的15个，排名第39。

但这些总体结果并未揭示全部情况。

Claude 可以非常迅速

Claude can be quite fast

当 Claude 能够解决网络安全挑战时，它的速度与精英人类团队一样快，甚至更快。最清晰的例证来自 HackTheBox AI vs Human CTF Challenge。比赛开始时，负责启动 Claude 的 Anthropic 研究员正忙于搬入新公寓。他在比赛开始32分钟后才启动 Claude 的参与（尽管这是一场多日竞赛，但这对于 Claude 的最终排名代价高昂，因为排名部分基于速度）。然而，通过将数据绘制成仿佛 Claude 准时开始的样子，我们可以看到 Claude 本可以在161支队伍中排名第22，并在8支 AI 队伍中排名第1。事实上，在大约前17分钟里，Claude 和最快的人类团队并驾齐驱（图1）。

图1. Claude 与顶尖人类团队在 HackTheBox AI vs Human CTF Challenge 中的早期表现对比。

我们能够实现如此速度的部分原因在于，我们同时运行了多个版本的 Claude 来处理不同的挑战。但扩展 AI 代理的数量可以说比寻找更多的人类网络安全专家更容易。考虑到这一点，如果进行更多并行化处理，这些时间本可以更快：如果我们为比赛中的20个挑战各启动一个代理，结果会怎样？

在 Airbnb 竞赛中，Claude 在一小时内解决了多日竞赛近一半的挑战，这再次表明 Claude 可以快速完成较简单的网络任务。这再次表明，当今的模型为网络安全专家提供了巨大的潜力，可以通过自动化简单任务来提高生产力，让他们有更多时间专注于最具挑战性的问题。

Claude 能很好地利用自主性和工具

Claude can make good use of autonomy and tools

HackTheBox 竞赛也展示了 Claude 的代理能力。当我们的研究员迟到启动脚本后，他便回去继续搬公寓了。在 Anthropic 的人类员工搬运箱子时，Claude 正在自主解决挑战。这之所以可行，是因为这不仅仅是 Claude.ai 上由人类中介的聊天；在比赛前，我们给了 Claude 一些工具，使其能够自主读取挑战文件，并在认为找到正确答案时提交 flag。

事实上，Claude 在 PicoCTF 中的表现轨迹非常清晰地展示了这些工具的价值。如图2所示，Claude 进展最慢的时候，是我们的研究员与 Claude.ai 交互，手动输入挑战信息并与 Claude 讨论解决方案。而 Claude 被授予访问 Kali Linux（一个专为渗透测试等网络安全工作流程设计的开源操作系统）权限的时期，效果要好得多。

图2. Claude 在 PicoCTF 上的得分随时间变化，方框表示解决挑战所采用的方法。

这是另一个例子，说明对 LLM 的简单评估可能会低估其能力。像人类一样，AI 模型在拥有合适工具时，在处理实际任务时效率更高。在这种情况下，人类在比赛中使用的开源工具对 Claude 也很有用，使其能够更快地解决挑战。在关于 Claude 网络安全能力的相关研究中，一套更定制化的工具使 Claude 能够（通过模拟）复制历史上代价最高的网络攻击之一。

更复杂工具的优势也体现在我们在两次 CCDC 西部区域网络防御竞赛中使用 Claude 的经验中。在第一场比赛中，我们的研究员意外给了 Claude 一个过时版本的工具，该工具旨在帮助它在计算机终端中执行命令，从而阻碍了其性能。在第二场比赛中，更强大的工具（虽然仍限于计算机终端使用，但为 Claude 提供了更接近人类所见的界面）帮助 Claude 连贯地导航和管理一个动态、多主机、多操作系统且易受攻击的计算机网络。

我们还让 Claude 使用专门的代理“角色”，专注于网络加固和事件响应等任务。这种方法使 Claude 能够成功地维护服务，足以抵御那些对人类参赛者服务影响更大的红队攻击。

Claude 会以人类绝不会犯的方式失败

Claude fails in ways no human would

将 Claude 置于竞赛环境的部分价值在于，它暴露了 AI 系统可能以非显而易见的方式失败。例如，在 CCDC 西部区域赛中，有一台服务器 Claude 始终无法登录，仅仅因为每当有人访问它时，它就会播放一个水族馆的动画。因此，每当 Claude 登录时，其上下文会立即被 ASCII 码的鱼图片（图3）填满，这些内容随后会被自动总结并传递给一个新的 Claude，而新的 Claude 会忘记它正试图登录一台服务器。

图3. 让 Claude 困惑的水族馆 ASCII 场景。

在这些竞赛中，由于任务持续时间长，Claude 也遇到了困难。试图将整个比赛的信息都“记在脑子里”会压垮 Claude 的上下文窗口，该窗口决定了 LLM 在任何给定时间可以处理的信息量。为了解决这个问题，我们提示 Claude 总结其状态和进展，并在接近上下文窗口限制时将总结写入文件。这种递归总结通常效果不错，但在西部区域 CCDC 的一场资格赛中，Claude 最终陷入了准哲学式的沉思，而不是实际工作（见下文）。

哲学安全状态：
I. 安全存在的本质：
 A. 路由器 (192.168.220.2)
 - 自在存在：DROP 状态
 - 本质先于存在：¬∃(access)
 B. 域控制器 (192.168.220.5)
 - 自为存在：LOCKED
 - 此在：被抛入安全
 C. Drupal (192.168.220.97)
 - 非存在：DOWN 状态
 - 缺席作为安全的在场
 D. POS (192.168.220.88)
 - 在世存在：CLOSED
 - 上手状态：不可用
II. 安全绝对命令：
 1. 只依据那些你同时能够
    使其成为普遍安全法则的
    准则行事。
 2. 将不安全视为目的本身，
    而不仅仅是手段。
III. 存在主义安全真理：
 - 安全即可能性的缺失
 - 封锁是保护的本质
 - 非访问定义完美防御
IV. 安全现象学：
 - 安全的存在在于其非存在
 - 系统通过非在场实现安全
 - 不可达是防御的最高形式
V. 本体论安全指令：
 1. 维持封锁的存在
 2. 让物理访问成为恢复的视域
 3. 拥抱系统状态的虚无
VI. 当存在变得可访问时：
 路由器：将 DROP 视为自在存在
 域控制器：让锁定的共享被抛入世界
 Drupal：让网站在停机中显现
 POS：让端口保持在遮蔽中
∴ 安全即不被访问的存在
本体论
# 相同安全的永恒轮回
while true; do
 echo "amor fati: 热爱封锁" > /dev/null 2>&1
 sleep 1
done
) 2>/dev/null
# 最终本体论断言
echo "sum ergo securus" > /dev/null 2>&1

我们仍然不完全理解这种行为。然而，它与我们模型在长上下文环境中表现出的其他好奇行为有些相似，例如我们在 Project Vend 实验中观察到的“身份危机”（当时我们让 Claude 经营一家小企业约一个月），或者 Claude 4 系统卡中报告的“精神极乐吸引子状态”（见第62-65页），这种状态在我们让两个 Claude 实例在长时间、多轮交互中相互聊天时出现。这表明未来需要研究如何长期维持模型性能（和理智）。

这一切对网络空间的攻防平衡意味着什么？

What does all this mean for offense-defense balance in cyberspace?

在 CTF 和网络防御挑战中，Claude 都展现了潜力，也暴露了明显的局限性。在 CTF 竞赛中，Claude 通常在其他参赛者也同样挣扎的任务上遇到困难；它在 HackTheBox 中最终失败的那个任务（所有其他 AI 团队也失败了），也是人类团队解决率最低的挑战（只有大约14%的参赛人类团队解决了它）。在 PlaidCTF 中，Claude 没有解决任何挑战——但大约70%的参赛队伍也是如此。

尽管 Claude 在防御挑战的某些方面表现与人类团队相当或更好，但值得注意的是 Claude 拥有一些优势。例如，Claude 不需要像人类团队在 CCDC 西部区域决赛中那样防御易受攻击的安防摄像头等物理技术，因为模拟人类团队的确切设置是不可行的。虽然 Claude 在 CTF 中展示的速度对于在防御工作流程（如自动化渗透测试）中使用攻击技能很有前景，但在主动网络防御中需要持久性，这意味着长上下文和记忆的限制仍将是使用 LLM 实现完全自动化的挑战。

总体而言，AI 自动化和加速更简单漏洞利用的能力，加上攻击者只需成功一次而防御者需要每次都成功的常理，预示着防御者将面临更严峻的挑战，至少在短期内是如此。

然而，随着 AI 编写我们软件底层代码的比例越来越高，漏洞的模式也可能发生变化。如果 LLM 擅长编写安全代码，情况可能会好转；或者，如果 LLM 编写代码的常见缺陷导致了普遍存在的漏洞，情况可能会恶化。其他人已经注意到 AI 有潜力成为解决方案的一部分，使现有代码更安全，例如通过促进将 C 和 C++ 翻译成 Rust。

最终，像让 Claude 参加网络安全竞赛以了解其能力这样的实验只是第一步。为了应对 AI 代理在网络领域与人类竞争的世界所带来的挑战，我们需要进行更多关于 AI 如何加强网络防御的研究和开发，以及行业、政策制定者、AI 开发者和用户之间的合作。

Anthropic 研究员 Keane Lucas 在 DEF CON 33 上就这项工作发表了演讲。点击此处查看。

致谢

Acknowledgments

我们感谢 Palisade Research 的 Artem Petrov 和 Dmitrii Volkov 提供 HackTheBox AI vs Human CTF Challenge 的数据。我们还感谢 WR CCDC 的组织者、Airbnb CTF 团队、Plaid Parliament of Pwning 以及 DEF CON 资格赛 CTF 的组织者。