Product
为 Claude 构建安全防护
Building safeguards for Claude
2025 年 8 月 12 日
Claude 赋能数百万用户应对复杂挑战、激发创造力，并加深对世界的理解。我们希望放大人类潜能，同时确保模型能力被引导至有益的方向。这意味着我们需要持续优化对用户学习和解决问题的支持方式，同时防止可能造成现实危害的滥用行为。
这正是我们安全防护团队（Safeguards team）的职责所在：识别潜在的滥用行为、应对威胁、构建防御体系，让 Claude 既保持有用性又确保安全性。我们的安全防护团队汇聚了政策、执法、产品、数据科学、威胁情报和工程领域的专家，他们深谙如何构建稳健的系统，也了解恶意行为者试图突破系统的方式。
我们在多个层面开展工作：制定政策、影响模型训练、测试有害输出、实时执行政策，以及识别新型滥用和攻击方式。这一方法贯穿模型的全生命周期，确保 Claude 在训练和构建过程中具备在现实世界中有效的防护措施。
政策制定
Policy development
安全防护团队负责设计我们的使用政策（Usage Policy）——这一框架定义了 Claude 应该和不应该被如何使用。使用政策指导我们如何处理儿童安全、选举诚信和网络安全等关键领域，同时为 Claude 在医疗和金融等行业的使用提供细致入微的指导。
两个机制指导着我们的政策制定和迭代过程：
- 统一危害框架（Unified Harm Framework）： 这一不断演进的框架帮助我们的团队从五个维度理解 Claude 使用可能带来的有害影响：身体、心理、经济、社会和个人自主权。该框架并非正式的评分系统，而是一个结构化的视角，在制定政策和执法程序时考虑滥用的可能性和规模。
- 政策漏洞测试（Policy Vulnerability Testing）： 我们与外部领域专家合作，识别潜在问题领域，然后通过评估模型在挑战性提示下的输出来对这些政策进行压力测试。我们的合作伙伴包括恐怖主义、激进化、儿童安全和心理健康领域的专家。这些压力测试的结果直接影响我们的政策、训练和检测系统。例如，在 2024 年美国大选期间，我们与战略对话研究所（Institute for Strategic Dialogue）合作，了解 Claude 何时可能提供过时信息。随后，我们添加了一个横幅，将寻求选举信息的 Claude.ai 用户引导至 TurboVote 等权威来源。
Claude 的训练
Claude’s training
安全防护团队通过协作流程与我们的微调团队紧密合作，帮助防止 Claude 产生有害行为和回应。这涉及对 Claude 应该和不应该展现的行为进行广泛讨论，从而为训练过程中将哪些特性构建到模型中提供决策依据。
我们的评估和检测流程也能识别潜在的有害输出。当问题被标记时，我们可以与微调团队合作制定解决方案，例如在训练过程中更新奖励模型（reward models），或调整已部署模型的系统提示（system prompts）。
我们还与领域专家合作，优化 Claude 对敏感领域的理解。例如，我们与在线危机支持领域的领导者 ThroughLine 合作，深入理解模型在涉及自残和心理健康的情况下应该如何以及在哪里做出回应。我们将这些见解反馈给训练团队，以影响 Claude 回应的细微差别，而不是让 Claude 完全拒绝参与或误解用户在这些对话中的意图。
通过这一协作流程，Claude 发展出多项重要技能。它学会拒绝协助有害的非法活动，识别生成恶意代码、创建欺诈内容或策划有害活动的企图。它还学会如何谨慎地讨论敏感话题，以及如何区分这些话题与造成实际伤害的企图。
测试与评估
Testing and evaluation
在发布新模型之前，我们会评估其性能和能力。我们的评估包括：
- 安全评估（Safety evaluations）： 我们评估 Claude 在儿童剥削或自残等主题上对使用政策的遵守情况。我们测试各种场景，包括明显的使用违规、模糊的上下文以及多轮对话。这些评估利用我们的模型对 Claude 的回应进行评分，并辅以人工审核以确保准确性。
- 风险评估（Risk assessments）： 对于高风险领域，例如与网络伤害、化学、生物、放射、核武器及高能炸药（CBRNE）相关的领域，我们与政府实体和私营企业合作进行 AI 能力提升测试（AI capability uplift testing）。我们定义可能因能力提升而产生的威胁模型，并评估安全防护措施针对这些威胁模型的性能。
- 偏见评估（Bias evaluations）： 我们检查 Claude 是否在不同上下文和用户之间始终提供可靠、准确的回应。对于政治偏见，我们使用对立观点的提示进行测试，并比较回应，从事实性、全面性、对等性和一致性进行评分。我们还测试关于就业和医疗等主题的回应，以确定性别、种族或宗教等身份属性的包含是否会导致有偏见的输出。
这种严格的部署前测试帮助我们验证训练在压力下是否有效，并提示我们是否需要构建额外的护栏来监控和防范风险。在对我们的计算机使用工具进行发布前评估时，我们确定它可能增强垃圾信息的生成和分发。为此，在发布前我们开发了新的检测方法和执法机制，包括对显示滥用迹象的账户禁用该工具的选项，以及针对提示注入（prompt injection）为用户提供的新保护措施。
评估结果会在我们的系统卡（system cards）中报告，随每个新模型系列一同发布。
实时检测与执法
Real-time detection and enforcement
我们结合自动化系统和人工审核来检测危害，并在模型部署后执行使用政策。
我们的检测和执法系统由一组经过提示或专门微调的 Claude 模型驱动，这些模型被称为“分类器（classifiers）”，旨在实时检测特定类型的政策违规。我们可以同时部署多个不同的分类器，每个分类器监控特定类型的危害，同时主对话自然进行。除了分类器，我们还采用针对儿童性虐待材料（CSAM）的特定检测方法，即在我们的自有产品上将上传图像的哈希值与已知 CSAM 数据库进行比对。
这些分类器帮助我们判断是否以及何时采取执法行动，包括：
- 回应引导（Response steering）： 我们可以实时调整 Claude 如何解释和回应某些用户提示，以防止有害输出。例如，如果我们的分类器检测到用户可能试图生成垃圾信息或恶意软件，我们可以自动向 Claude 的系统提示添加额外指令来引导其回应。在少数情况下，我们也可以完全阻止 Claude 做出回应。
- 账户执法行动（Account enforcement actions）： 我们调查违规模式，并可能在账户层面采取额外措施，包括警告，或在严重情况下终止账户。我们还有防御措施来阻止欺诈性账户创建和使用我们的服务。
构建这些执法系统是一项巨大的挑战，无论是设计它们所需的机器学习研究，还是实施它们所需的工程解决方案。例如，我们的分类器必须能够处理数万亿个输入和输出令牌（tokens），同时限制计算开销和对良性内容的执法。
持续监控与调查
Ongoing monitoring and investigation
我们还监控有害的 Claude 流量，超越单个提示和单个账户的层面，以了解特定危害的普遍性并识别更复杂的攻击模式。这项工作包括：
- Claude 洞察与观察（Claude insights and observations）： 我们的洞察工具通过将对话分组到高层次的主题集群中，以隐私保护的方式衡量 Claude 的实际使用情况并分析流量。基于这项工作（例如关于 Claude 使用的情感影响）的研究可以为我们要构建的护栏提供信息。
- 分层摘要（Hierarchical summarization）： 为了监控计算机使用能力或潜在的有害网络使用，我们采用分层摘要技术，该技术将单个交互浓缩为摘要，然后分析这些摘要以识别账户层面的问题。这有助于我们发现那些仅在整体上才显现违规特征的行为，例如自动化影响力操作和其他大规模滥用。
- 威胁情报（Threat intelligence）： 我们还研究模型最严重的滥用情况，识别现有检测系统可能遗漏的对抗性使用和模式。我们使用的方法包括将滥用指标（例如账户活动的异常激增）与典型账户使用模式进行比较，以识别可疑活动，并将外部威胁数据（如开源代码库或行业报告）与我们的内部系统进行交叉比对。我们还监控恶意行为者可能活动的渠道，包括社交媒体、消息平台和黑客论坛。我们在公开的威胁情报报告中分享我们的发现。
展望未来
Looking forward
保障 AI 使用的安全至关重要，任何单一组织都无法独自应对。我们积极寻求来自用户、研究人员、政策制定者和民间社会组织的反馈与合作。我们还从公众反馈中汲取经验，包括通过持续进行的漏洞悬赏计划（bug bounty program）来测试我们的防御体系。
为支持我们的工作，我们正在积极招聘能够帮助我们解决这些问题的人才。如果你有兴趣加入我们的安全防护团队，欢迎查看我们的招聘页面（Careers page）。
相关内容
Related content
阿尔伯塔省政府使用 Claude 发现并修复政府系统中的网络安全漏洞
自 2025 年以来，阿尔伯塔省政府一直使用 Claude Code（结合 Opus 和 Sonnet 模型）来审查其系统、发现漏洞并进行修复。
了解更多
关于 Fable 5 网络安全防护及越狱框架的更多细节
了解更多
介绍 Claude Sonnet 5
Sonnet 5 在编码、智能体和大规模专业工作方面提供了前沿性能。
了解更多