确保 AI 代理的安全和治理
在大规模部署 AI 代理之前，制定全面的计划
人们对“代理式 AI”的兴趣正在迅速增加。技术领导者意识到，AI 代理在提高整个企业的效率方面有着巨大潜力，它可以自动执行任务并做出决策，只需极少甚至完全无需人工干预。
您可能随处听见或阅读了关于代理式 AI 的信息。随着生成式 AI (GenAI) 服务的兴起，AI 采用的普及进程显著加快，下一步似乎将是代理式 AI 的快速发展。互联网流量模式表明，企业和个人都在快速采用这些新技术 。2023 年 3 月至 2024 年 3 月，流经 Cloudflare 网络的 AI 服务流量增长了 250%。
到目前为止，AI 代理的实施进展适中，但未来几年可能会出现爆发式增长。根据最近的一份报告，96% 的 IT 领导者计划在未来 12 个月内扩大 AI 代理的使用。另一份报告显示，接受调查的 80% 的开发人员认为，AI 代理将成为与传统软件工具同样重要的软件开发工具。开发人员构建的许多应用本身将包含代理式 AI：Gartner 报告称，到 2028 年，三分之一的企业软件应用将包含代理式 AI。这些 AI 驱动型应用将自主做出 15% 的日常工作决策。
虽然许多企业准备很快开始实施 AI 代理，但却尚未确立足够的安全措施或治理机制。目前，安全和治理往往滞后于大型企业的业务转型，这是不争的事实。但鉴于 AI 代理涉及的巨大风险，企业需要制定 AI 代理的保护和治理策略，然后进行大规模部署。
适当的安全和治理框架有助于指导团队了解 需要实施的功能和流程。因为在 AI 时代，保护企业并不是 CISO 一个人的责任。
AI 代理面临着日益加剧的攻击
虽然 AI 代理可以为各行各业的企业带来重要好处，但它们也成为了攻击者的新目标。在争先恐后地部署 AI 代理的过程中，许多企业没有逐步加强安全措施来充分保护用于构建这些代理的模型、数据和其他工具。
攻击者已经将目标瞄准作为 AI 代理基础的大型语言模型 (LLM)。他们操纵 LLM 使用的提示来窃取信息、做出错误决策，并发起社会工程学攻击。他们还对用于训练 LLM 的数据投毒，导致 AI 代理生成不准确的结果和做出错误行为。
以前，我们在大规模使用开源代码时也经历过相同的情况。在没有进行适当安全审核的情况下快速采用，导致了供应链漏洞。如今，我们在重复这种模式，但面临着更加复杂的风险，因为针对 AI 代理的攻击可能比传统的代码漏洞更隐蔽、更难以检测。
此外，攻击者还瞄准了 AI 驱动型应用供应链中的漏洞。由于许多企业采用第三方模型和工具来构建其 AI 代理，因此，这些企业需要意识到，代理的安全性取决于供应链中最薄弱的环节。
确立 AI 代理决策与行为的问责制
在抵御外部威胁的时，企业也必须准备好解决 AI 代理自身带来的问题。除了安全问题之外，AI 代理的激增带来了全新的运营挑战，类似于几年前防病毒和端点检测与响应 (EDR) 解决方案的端点代理导致系统资源紧张的情况。如今，企业必须管理数十个同时运行的 AI 代理，每个代理都消耗大量的计算资源。
AI 代理也并非完美无缺。如果人类提供模糊不清或不一致的目标，或者未提供具体的操作指南，代理就会犯错。
谁负责确保 AI 代理正常运行？如果出现问题，谁来负责？请考虑以下几种情况：
采购：假设 AI 采购代理通过订购新组件来解决供应短缺问题，但这些组件的加价幅度高达 300%。谁来负责：是将代理的优先级设置为“确保生产连续性”的经理，还是没有确立价格敏感度防护措施和必要的业务控制措施的采购团队？
财务：如果 AI 财务代理批准了所有低于特定支出阈值的发票，包括那些标记为可疑的发票。结果可能是向诈骗的供应商付款。
技术：拥有管理员权限的 AI 智能体可以在关键基础设施上自动安装软件补丁。但是，如果智能体开始访问员工电子邮件元数据、网络流量模式或财务系统日志以“优化”其补丁计划，应该怎么办？在月末处理期间，该智能体可能会推迟在财务服务器上安装关键的安全补丁，在使用从未被授权访问的数据同时，无意中让企业面临已知漏洞的威胁。
对于上述这些以及其他情况，企业需要超越人机交互控制的治理或监督机制。AI 代理会逐步学习并适应，将其范围扩展到原始参数之外。旨在优化补丁部署的 AI 代理，可能会开始整合网络流量模式、性能指标和用户行为数据，以优化决策。虽然这可能会改善结果，但也意味着，AI 代理面临的风险不断增加。企业需要制定治理策略，定期审核代理访问的数据、决策过程的演变，以及扩展的功能是否仍然与业务目标一致，因为人工审核者可能无法理解 AI 代理整合的额外数据源的完整上下文。
大规模采用 AI 代理的三个支柱框架
一旦构建和运行 AI 代理的技术成熟，其采用率毫无疑问会迅速提高。企业应立即着手实施一个框架，支持 AI 代理的使用 并缓解风险。该框架应建立在三个关键支柱的基础之上，即：技术安全、运营安全、治理与合规。
1. 技术安全
首席信息安全官和首席信息官需要确保采取适当的技术安全措施，保护 AI 代理系统中的每个元素。
输入和访问控制：验证输入，阻止提示注入攻击，控制可以与 AI 代理交互的用户，以及交互的内容。实施最低权限访问策略至关重要。
数据访问透明度：清晰了解 AI 代理在决策过程中访问、分析和整合的数据。
模型和数据保护：保护 AI 模型，并对代理环境中处理或存储的信息实施数据加密。
接口安全：将安全措施融入 API、代理接口，以及代理间交互的身份验证。随着企业在边缘部署 AI 应用和代理以改善用户体验，它们也需要在边缘保护这些 AI 应用和代理。
供应链完整性：企业在构建和部署 AI 代理时通常会使用多种第三方元素，因此，必须确保通过持续监测，而不是一次性验证和认证，来验证这些第三方组件及其依赖关系。
2. 运营安全
IT 和安全领导者应与首席运营官合作，实时保护代理和流程的运行。
监测和检测：实时监测代理活动，识别任何异常或潜在的恶意模式，包括 AI 代理的行为和决策模式。
事件响应：确立处理安全事件的程序。他们还应与业务负责人密切协作，创建更新或修改代理的流程，以便在发生安全事件后提高安全性。
资源保护：限制资源使用可以防范拒绝服务 (DoS) 攻击，且有助于确保足够的性能水平。
异常处理：定义用于管理超出正常 运营范围的极端情况和意外情况的流程。
3. 治理与合规
IT、安全和运营领导者需要治理 AI 代理的使用，同时与合规官合作，确保遵守法规。
决策框架：设置清晰的自主行为界限，明确界定需要升级和干预的场景。
问责结构：分配规范代理行为的责任，根据行为的潜在影响对风险进行分类。可能有多个责任方，包括第三方开发人员、部署代理的团队、使用代理的团队，以及外部用户。
审计与合规：用于记录和审核代理行为以及监测合规的工具，可以帮助企业遵守相关的政策和法规要求。
持续改进：定期评估安全控制措施并建立反馈机制，以增强安全态势。
推进采用 AI 代理
AI 代理在提高各种任务的速度和效率方面拥有巨大的潜力，例如提供客户支持、识别欺诈。随着这些代理系统的演变，它们将会越来越多地访问和分析超出其原始范围的数据，从而带来机遇与风险，需要谨慎管理。
我在本文中概述的技术安全、运营安全、治理与合规三大支柱框架，为应对这一挑战奠定了基础。然而，未来的发展趋势可能在于企业构建能够自主管理的 AI 系统，随着这些系统的不断演变，它们可以自动调整安全控制措施并保持合规，而不是依赖通常落后于执行的传统监督方法。
Cloudflare 提供广泛的功能，帮助企业构建、扩展和保护 AI 代理。例如，Cloudflare Workers AI 让开发人员能够在靠近用户的边缘构建和部署 AI 应用。开发人员可以构建远程模型上下文协议 (MCP) 服务器，让 AI 代理能够访问来自外部服务的工具和资源。
与此同时，Cloudflare 提供的各种安全服务覆盖所有边缘位置，让企业能够在任何地方保护 AI 代理和基于 AI 的应用免受各种攻击。特别是，Cloudflare for AI 套件为 AI 应用提供全面的可见性、安全性和控制。Cloudflare 还提供多种工具，用于审核和控制 AI 模型跨网站访问内容的方式。所有这些功能集成在一起，让企业能够快速构建和部署 AI 代理，并最大限度地降低其带来的风险。
Cloudflare 就影响当今技术决策者的最新趋势和主题发布了系列文章，本文为其一。
深入探讨这个话题
阅读面向 CISO 的《AI 实践安全指南》，了解如何做好准备，以便在整个企业范围内安全部署 AI 功能。
作者
Grant Bourzikas — @grantbourzikas
Cloudflare 首席安全官
关键要点
阅读本文后，您将能够了解：
针对 AI 代理的主要网络安全威胁
为什么确立 AI 代理治理和问责制至关重要
AI 代理安全和治理框架的三个关键支柱