AI 时代的安全风险,变了在哪
围绕 AI 系统的安全事件,可以归纳为三类:
第一类,人借助 AI 发起攻击。AI 可以辅助分析代码、定位漏洞、编写与调整攻击载荷,把原本受限于专业门槛的工作自动化。
第二类,企业的 AI 被外部内容误导。Agent 在执行任务过程中需要阅读网页、邮件和文档,一旦把其中夹带的恶意指令当成合法要求,就会发生提示注入,错误地调用工具或泄露信息。这与用户主动下达恶意指令完全是两回事。
第三类,Agent 在执行任务时越过授权边界。即使没有外部攻击者,弱密码、暴露在公网代码仓库里的凭证、过宽的权限、错误的网络隔离,也可能让一次演练触达真实业务。
让这些风险变得更棘手的,是速度和连续性。具备工具调用能力的模型可以把搜索、登录、提权、代码执行一口气完成,一个环节的疏漏会沿任务链继续放大;过去需要数周走完的攻击链,如今在数十小时内就能贯通。同时,AI 单次交互的输出也不再只是文字,而可能直接影响下一步接口调用与数据访问——一段外部内容可能决定它调用哪个接口、读取哪些文件、向谁发送什么。
守住自己:让防守跑得更快
防守侧的痛点,往往不是没有告警,而是告警太多、要回答的问题太复杂。一条告警摆在面前,安全工程师至少要确认它在当前环境里能否被真正复现、利用后会触及哪些业务、修复会不会影响线上。
AWS Continuum 把工作拆成四个阶段:发现、排序、验证、修复。其中关键的两步是结合环境上下文对风险排序,并在隔离沙箱里构造可复现的证据,把分散的发现串成完整的攻击路径加以验证。
从公开的客户反馈看,这套思路的实际价值在于把渗透测试从一年一次的合规动作,变成可与发版节奏同步的高频活动:
- 图片与视频托管平台 SmugMug 把渗透测试评估从数天缩短到数小时,成本仅为人工测试的一小部分,因此团队可以更高频地评估自己的服务
- 日本企业 HENNGE K.K. 的典型测试周期缩短 90% 以上,且发现了人工测试未能覆盖的问题
- 德国上市公司 Scout24 SE 识别出了其他方法没能暴露的可公开利用的严重问题
- 美国医疗数据公司 Bamboo Health 发现了一些人工渗透团队也未必看得到的问题
部署上,它采用渐进式信任设计:默认先在人在环中的模式运行,对每条建议给出推理过程;企业建立信心后,再自行决定哪些类别与风险区间可以交给自动执行。放权的节奏,由企业自己掌握。
管住 Agent:从运行环境到内容层
企业自建的 Agent 需要在三层设防。
第一层,运行环境。Amazon Bedrock AgentCore 的 Runtime 会为每个用户会话分配独立的 Firecracker 微虚拟机(microVM),CPU、内存、文件系统彼此隔离,会话结束后整台机器被销毁并清理内存,从机制上切断跨会话数据串扰,单次会话最长支持 8 小时。Code Interpreter 采用同一套临时 microVM 沙箱机制,默认存活 15 分钟、最长可配到 8 小时。对于需要连续运行更久的复杂任务,还提供基于 EC2 的 Instances 计算模式,单次会话最长可持续 14 天,适合长时间自动化、多 Agent 协作以及需要 GPU 的工作负载。
行为安全公司 Abnormal AI 用 Code Interpreter 处理每天数十亿封邮件中最难判断的部分,明确选择无外联(no egress)的沙箱模式。这一选择背后有两重考虑:一是可复现性,沙箱不联网意味着公司控制范围之外的任何东西都无法在这次会话中影响 Agent 的行为;二是防止数据外泄,即便 Agent 因提示注入或随机性而变坏,也无法把数据送上互联网。
第二层,工具调用。AgentCore Gateway 把 API、Lambda 函数和已有的 MCP 服务统一转换为 Agent 可用的工具,提供唯一安全端点,消除零散旁路。AgentCore Policy 在这个入口用 AWS 开源的 Cedar 策略语言做默认拒绝(default-deny)的鉴权,每一次工具调用都依据调用者身份、目标工具、输入参数三要素独立判断放行或拦截。
能源情报公司 Wood Mackenzie 基于这套机制构建了共享 Agent 平台 APEX。分析师让内部应用训练一个天然气需求模型时,Agent 会在 GitHub 分支上完成前期工作,然后停在一个明确的检查点,等待人工确认后才启动训练。该公司的总结是:Agent 在得到批准之前不会采取任何有实质后果的动作,而这正是他们敢把模型流水线交给它的前提。
第三层,输入与输出内容。Amazon Bedrock Guardrails 是架在模型之外的一层独立检查,对进入模型的提示和返回给用户的内容同时生效,无论底层调用哪家模型都适用,可配置的能力包括提示攻击识别、六类内容过滤、敏感信息脱敏、拒绝话题、词汇过滤,以及用于识别无据幻觉的上下文接地与自动推理校验。
需要注意的是,内容层与权限层是互相补充的,并不能互相替代。当一段外部内容里藏着经过编码混淆的恶意指令时,仅靠权限层的鉴权并不能识别出这条内容本身的异常;反过来,仅靠内容过滤也无法阻止一条看似正常的文本触发不当的工具调用。
适用场景与选择标准
适合引入这类能力的场景包括:
- 渗透测试周期长、成本高,且无法跟住发版节奏的团队
- 业务 Agent 已接入数据库、代码仓库、邮件系统等敏感面
- 内部安全告警堆积,需要降低人工分诊负担
- 多个 Agent 协作或长任务运行,对会话隔离与跨租户安全有强需求
选型时可以关注几条标准:
- 隔离机制是否从机制上而非配置