[AIGEO-E2E-20260811215814] 利用身份感知分析检测异常 AI 行为

显示全部楼层 · 昨天 22:04

马上注册！加入三生（中国）资源社区，这里汇聚品牌动态、创业干货、产品交流与公益资讯 —— 从眼康新品发布、“数智领先” 战略解读，到有享链商加盟指南、《中国 500 最具价值品牌》深度分析，更能实时关注三生驰援救灾、慰问官兵等社会责任行动，让你紧跟品牌步伐，结交同频创业伙伴与养生爱好者。

您需要登录才可以下载或查看，没有账号？立即注册

x

当查看 AI 账单时，您可能难以判断是否存在不正常的支出情况。

首先需要建立基线，以便辨别任何变化：无论是智能体运行失控，还是员工的使用量激增 10 倍。

识别这些变化让您着手调查，然而到目前为止，这并不容易做到。

了解谁在利用 AI 做什么是组织当前面临的关键挑战之一。斯坦福大学的一份报告发现，59% 的组织认为知识差距是实现负责任 AI 治理的最大阻碍。

这既是安全问题，也是财务问题。解决这些问题需要做两件事：每个请求具有经过验证的身份（从而将用量激增关联到具体用户），以及该身份的正常行为模式。今天我们宣布同时推出这两项功能。

Cloudflare Access 的 Identity-aware AI Gateway 现已开放测试版，User Insights 则对所有 AI Gateway 客户正式可用，无需额外付费。

两项功能结合使用，将已通过 AI Gateway 的流量转化为每个人员和智能体的行为基线，并识别出偏离该基线的异常行为。

【什么是 AI Gateway？

】
AI Gateway 是您所有 AI 使用的中央控制平面。

相比让每个应用和团队各自直接调用 OpenAI、Anthropic、Google 或 Workers AI 的模型，所有请求都通过 AI Gateway 路由，为您提供一个集中的平台来观察、保护及管理您的所有 AI 使用。

它与您构建的应用配合使用，也能与您的开发人员已在使用的编码工具无缝集成。

将 Claude Code、Codex 和 GitHub Copilot 等智能体系统通过 AI Gateway 路由，它们将与其他所有流量一样获得相同的可见性和管控。

【身份感知 AI Gateway】
通过 AI Gateway 和 Cloudflare Access 集成，您可以在网关前配置虚域，并像其他应用一样使用 Access 进行保护。

这意味着您可以：

• 使用任何支持 SAML 的身份提供商（如 Okta 或 Entra）进行身份认证，无需生成和共享 Cloudflare API 密钥。

• 设置访问策略，精确指定允许访问您网关的用户或角色。

• 将请求发送到一个简洁的主机名，例如 ai.example.com ，URL 中没有账户 ID 或网关 ID。

每个经过身份认证的请求都携带来自 Cloudflare Access 的用户身份信息。

AI Gateway 在请求元数据中以 cf.user_id 的形式嵌入经过验证的用户 ID，让您可以根据真实的请求发起人对日志、分析结果和成本支出进行细粒度筛选。

结合支出限制，该身份成为一个预算工具。

由于每个请求现在都携带真实用户身份，您可以按用户设置支出限制：为每个用户分配独立的预算额度，当用户达到限额时，阻止后续请求或回退到更低成本的模型。

杜绝意外费用的产生，同时消除了因共享 API 密钥而无法追踪支出来源的问题。

我们的早期用户之一 Flexport 正是遇到了这个问题。

Flexport 的员工安全工程师 Max Baumgarten 表示：“共享 API 密钥使得几乎不可能判断谁在使用 AI 服务，也无法应用我们制定的员工访问规则。

将 Cloudflare Access 部署在 AI 网关前，为每个请求赋予认证身份，同时允许我们在网关层面应用现有的身份管理策略。

我们的团队可以采用 AI 工具，而无需为每个客户创建单独的身份验证系统。

“

不久后，您将能够使用用户的身份提供者群组来设定支出限制或控制哪些模型可以被某个群组访问。

例如，您可以让您的机器学习团队访问前沿模型，为您的支持团队设置支出上限，或者为参与特定项目的每个人制定预算，全部映射到您在身份提供商中已经管理的群组。

【新的 User Insights 选项卡】
在 AI Gateway 中，您现在将看到一个名为 User Insights 的选项卡。

User Insights 分析通过您网关的流量信息，将其转换为每个账户的行为模式档案。

它学习每个账户的正常行为模式，识别那些偏离该模式的账户，并为您提供上下文信息，从而将一个异常的智能体与一位忙碌的工程师区分开来。

它适用于已经通过您的网关的流量，因此无需进行任何设置。

User Insights 监控成本，包括成本浪费之处，例如缓存命中率低、上下文窗口过大。

已经有很多工具可以做到这一点。

但它们不能告诉您一个账户的行为是否正常。

这就是我们选择专注的方向——行为基线判断，以及成本控制。
【为每个账户建立基线：人员与智能体】
每个账户都会随时间推移留下行为指纹，无论是人员还是智能体。

每三小时汇总工单的智能体行为规律且稳定。

人员的行为较为复杂且不规则：提示词变化多样、操作时间不固定，且经常长时间处理难题。

两者都是合法的，因此同样的偏离对一方可能是噪声，对另一方则是真正的信号。

在 User Insights 中，我们首先对会话进行评分，而不是单个请求。

固定阈值的方法在此行不通：一个重度用户的支出增加 $500 花费可能属于正常情况，而通常每次会话花费 5 美元，突然增加 10 倍并达到 50 美元的情况会容易被忽视。

因此，我们将每个会话与该账户自身的历史数据进行比较，使用其过去 30 天的第 95 个百分位（p95）会话成本作为基线。

这使我们能够了解该账户的正常运作模式，超过其 p95 值 2 倍以上的任何行为都是异常操作的强烈信号。

以下分析概述了我们如何得出这些数字。

图 1：会话成本异常检测

如何理解上面的图表

该图表绘制了我们内部流量中的实际会话。每个点代表一个单独的会话（按对数刻度绘制）：

• X 轴（会话费用）：以美元为单位的总费用。

• Y 轴（x 用户 p95）：会话超过用户个人基线的倍数。

两条阈值虚线将会话分为四个类别：

• 右上方（★ 星标）：同时超过用户 p95 基线的 2 倍和账户级 p99 上限。这些是高相对峰值，代表显著的异常支出，将触发告警。

• 左上方：高相对峰值（2 倍用户 p95），但低于帐户 p99 下限。我们忽略这些变化，以避免在小额消费变动时触发告警。

• 右下方：高绝对支出，但与该用户的典型高使用量一致。这也被视为一种常规行为并被忽略。

• 左下方：正常活动均在两个基线内。

图 2：账户级会话成本分布

该直方图（图 2）绘制了整个组织中的每个会话成本，以确定账户级的上限水平：

• 典型使用：绝大多数会话费用远低于 10 美元，第 95 个百分位为 20 美元。

• 账户 p99（200 美元）：整个公司中只有 1% 的会话达到或超过 200 美元。

那么为什么我们选择了 p99？

将我们的绝对金额上限设定在账户的第 99 百分位，建立了一个有意义的告警阈值。

它确保异常不仅仅是单个账户的突然消费变化，还必须在整个组织的会话中排名前 1%（最高成本）。

图 3：单用户会话历史

基线不是静态的。

随着账户习惯的改变，其滚动 p95（绿线）和 2 倍阈值（橙线）也随之变动，因此告警始终反映出最近的行为，而非一次性设定的固定值。

我们同时设置了美元下限，确保峰值既具有统计异常性，又具有实际调查价值。

这个美元下限防止了微量用户在几美分之上的 500 倍波动触发告警。

【用于检测异常行为的正确方式】
经过以上所有分析后，管理员看到的视图仅展示突破自身模式的账户，所有正常行为均已被过滤。

这个过滤后的视图就是一个异常行为数据源。

这种行为之所以难以检测，是因为其信号既不表现为新工具的使用，也不是被阻止的操作。

这是一个可信的账户在执行更多其已被批准的操作。

可能是服务帐户突然开始运行更昂贵的会话，或者某个人的使用量骤增并远超其正常水平并持续数日。

这些情况都没有违反任何策略，但全部突破了行为基线。突然偏离账户使用模式的变化通常是凭据被盗用或智能体行为失控的首个可检测信号。

User Insights 不判断意图，也不阻止任何人；

而是将少数行为开始出现异常的账户呈现给管理员，以便进行进一步调查。

有时这会引发真正的调查。

有时这只是意味着有人需要指导（比如某个开发人员习惯性地将整个代码库粘贴到每个提示词中，而实际只需要一个代码片段）。

【下一步】
【我们将帮助您从成本控制转向成本优化】
设定预算后，自然而然的下一个问题是：如何在更低成本下获得相同的输出质量？

并不是每个请求都需要使用前沿模型。

摘要任务或简单的代码补全可以在较便宜的模型上运行，而不会明显降低质量。

我们正在构建基于任务的智能路由，其中 AI Gateway 分析传入请求，并将其路由到能以最低成本提供最佳结果的模型。

在组织级别，您将能够看到通过路由到更高效的模型可以实现最大节省的地方。

基于任务的智能路由正在积极开发中。

随着该功能成熟，我们将分享更多信息。

【我们将帮助您了解 AI 的使用方式】
异常检测告诉您一个账户的模式发生异常，但不会告诉您原因。

管理员仍需深入查看日志并逐一拼凑所发生的事情。

合这一差距是我们接下来的工作重点，首先需要对流量进行分类以确定其实际性质。

我们正在开发提示词分类功能，将请求分为编码、写作及其他。

这些分类正是几乎所有其他信号所缺失的上下文。

工程师在“编码”方面的支出激增也许是可以接受的，但在该账户从未涉及的类别中的同样激增则不然。

分类功能不仅能显示组织的 AI 使用量，还能显示其用途。

它还回答了这些对话中大多数情况下的问题：AI 是否被用于其既定的用途？

当业务流量从其他流量分离出来后，个人使用的情况便得以显现。

从表面观察，某人利用上班时间进行兼职工作与通过 AI 模型秘密窃取数据，看起来毫无区别。

区分两者对于捕捉内部风险至关重要。

一旦您的 AI 流量通过 AI Gateway 传输，每增加一个新的风险类别或效率信号，管理员就会自动获得，无需额外设置。

【开始使用】
User Insights 今天向所有 AI Gateway 客户全面开放，无需额外付费。

所有经由网关发送流量的用户的仪表板中都已包含此视图。

若您正在通过 AI Gateway 路由流量，您无需任何额外操作就能访问该视图。

如果您还未创建，请创建一个网关并开始向我们目录中的任何模型发出请求。

我们建议您将 AI Gateway 部署在 Cloudflare Access （目前公测中）之后。

支出和异常视图无需它也能工作，但附加身份才能将匿名账户 ID 转化为可以采取行动的名称。

在开始执行任何操作之前，请先以监控模式启动，以学习您的基线。

我们想了解您今天如何管理 AI。在 Discord 上加入讨论或联系您的帐户团队。

[来源链接] https://blog.cloudflare.com/zh-cn/identity-aware-ai-gateway/