Gartner发布AI安全创新指南：用集成的模块化AI安全平台赢得AI安全之战

AI安全将发展成为一个价值数十亿美元的市场，但该市场已挤满了初创企业和现有的SASE、网络安全和数据安全供应商，它们都在争夺各自的市场份额。为了赢得市场，网络安全供应商应该整合多种AI安全功能，并分阶段解决买家的即时用例。

主要发现

• 人工智能安全正在成为一个平台化运作，将相关的保护功能集成到一个平台中，以降低复杂性并提供一致且改进的人工智能安全保护。

• 买家对人工智能的发现、可见性和使用控制有着迫切的需求，其中包括对人工智能代理使用安全的强烈需求。其他人工智能安全需求，例如企业应用程序（尤其是公开的应用程序）内的私有模型保护，则更为遥远。

• 与已建立的数十亿美元的 Web 应用程序安全市场类似：

o   需要有效载荷检查（提示和响应）。需要在线运行时AI防御来保护私有模型，这将是未来24个月的增长机会。

o   人工智能安全需要在人工智能开发流程中“左移”，以保护支持人工智能的应用程序、数据和模型的完整性，并在投入生产之前解决问题。

• 它与 Web 应用程序安全存在一些关键区别。最值得注意的是，模型保护在分析提示和响应以及强制内容审核时必须添加语义理解，这需要使用语言模型，从而影响成本和延迟。

建议

• 提供一个集成的模块化 AI 安全平台 (AISP)，该平台具有通用 UI、数据模型、内容检查引擎和一致的策略实施以及许可，允许客户逐步部署，最终实现完全集成的平台。

• 不要等到具备了所有能力才行动。按照紧急程度来满足买家的需求：

o   满足买家对人工智能发现和使用控制的直接需求。

o   其次，优先做好线上及时检查，防止敏感数据丢失进入公共模型。

o   将提示检查扩展到对用户和基于代理的提示和响应的语义检查，以防止越狱、提示注入和其他有害意图。

o   将在线提示/响应保护扩展到买家自己的支持 AI 的应用程序。

• 在扫描提示和响应时，不要仅仅依赖生成式人工智能 (GenAI) 来保护 GenAI。应结合多种分析技术，包括签名等以及基于人工智能的方法（例如机器学习和异常检测），并结合大型、小型和特定领域的 GenAI 模型来提供保护。

分析

预计2025年，企业在人工智能相关产品和服务上的支出将达到1220亿美元。其中，2025年企业在模型上的支出将超过140亿美元，其中超过10亿美元将用于专业化和特定领域的模型。

这种快速的普及使与人工智能相关的信任、风险和网络安全问题成为买家关注的焦点。在 Gartner 最近针对安全买家的一项调查中，GenAI 被列为 2025 年安全预算的首要优先事项。在《应对网络安全市场颠覆，打造竞争优势》一书中，AI/GenAI 安全被确定为价值数十亿美元的网络安全机遇。为了吸引安全买家的兴趣，几乎所有主要安全供应商都已在 AI 安全领域发布公告和/或进行收购。

网络安全领域的一个关键颠覆性变革是向平台化转型，将相关的安全功能融合并集成到一个平台产品中，使不同的功能协同工作，从而产生协同效应。正确实施安全平台可以降低复杂性和策略重叠，帮助买家提高有限资源的效率和效能，并改善其整体安全态势。为了在人工智能安全之战中取得胜利，网络安全供应商应提供全面的人工智能安全防护，分阶段解决买家的优先事项，并采用人工智能安全平台方法进行集成（见图1 ）。

图 1. AI 安全平台模块化功能

图 1 中的功能分为两种用例。左侧列出了 AI 使用控制功能（通常指用户使用 AI 应用和服务）。右侧列出了 AI 应用保护功能（安全地构建和运行 AI 应用）。这两种用例的功能高度对称，并且在许多情况下完全相同，这为构建平台方法以应对所有用例的供应商提供了通用策略和执行引擎的机会。

图 1 所示的完整功能集可能需要一到两年的时间来构建或通过收购进行整合。然而，买家并不想购买平台本身；他们希望获得能够解决当前问题的成果，这些成果具有模块化功能，能够在用例扩展时良好地协同工作。安全供应商应该在更广泛的平台框架和路线图的背景下解决这些特定的短期痛点和用例。人工智能安全之战的赢家将采用分阶段的平台方法，并利用人工智能使用控制和人工智能应用程序保护之间的功能重叠，构建一个面向人工智能保护整个生命周期的完整人工智能安全服务提供商 (AISP)。

对于瞄准 AISP 机会的安全供应商，我们建议按以下顺序优先进行投资：

• 第一阶段：从AI使用管控入手，保障第三方AI服务的使用安全。

• 第二阶段：拓展AI应用防护，安全开发和运行AI应用。

第一阶段：从AI使用管控入手，保障第三方AI服务的使用安全

从 AI 发现、清单和风险评级开始。模型的采用无处不在，其中很大一部分超出了 IT 的可见范围。找到所有模型的使用情况是一个复杂的问题。在 Gartner 最近针对安全买家的一项调查中，响应整个组织对 GenAI 使用率的增加被认为是组织最近进行网络安全采购的主要原因。供应商必须结合使用一种或多种技术来识别最终用户和开发人员对 AI 的访问：

• 用于基于浏览器访问模型的浏览器插件

• 用于非基于浏览器的访问的端点代理

• 开发环境插件

• 防火墙日志

• 安全网关日志

• 来自安全服务边缘 (SSE) 和安全访问服务边缘 (SASE) 提供商的日志

最后，模型发现必须扩展到识别 SaaS 应用程序中的嵌入式模型，例如 Salesforce 和 ServiceNow 中的模型。在所有情况下，AISP 都应根据声誉、版本、已知漏洞、许可以及是否使用用户提示和响应来训练模型，对 AI 模型进行风险评级。

实施AI 访问控制。在模型访问和使用时，可以阻止用户、使用策略通知发出警告、允许但记录日志或重定向到私有实例。买家还要求记录提示和响应以供审计。由于 SASE/SSE 供应商已经参与了大多数用户访问决策，因此这些供应商无需创建其他产品或许可证即可实现直接的协同。我们已经看到图 1 右侧的功能有所融合，以解决整体 AI 使用控制问题，将AI 发现与组织在访问时的企业安全策略实施相结合。

检查用户提示和响应，以保护敏感数据。在最近的 Gartner 安全买家调查中，受访者在 2025 年优先考虑的解决 GenAI 安全问题的首要产品功能是隐私和数据安全。为了实时实现这一点，供应商需要能够拦截用户与模型之间的对话，并检查提示和响应中是否存在敏感数据。对于已具备内联敏感数据识别能力的供应商（例如 SASE/SSE 供应商），这是一个逻辑上相邻的用例。

从语义上扩展提示和响应检查，以进行内容审核。除了敏感数据扫描之外，还需要从语义上扫描提示和响应，以识别意图并强制执行内容审核（例如，暴力、恶意意图和试图越狱的模型）。从语义上理解意图需要结合领域模型和大型模型。安全供应商不应期望仅凭单一模型就能解决这个问题；它需要多模型和多模态能力。此外，由于模型始终在不断发展，更好的平台架构将允许随着时间的推移将模型切换到性能更佳的模型。更先进的产品将使买家能够引入并集成自己的模型进行检查。

监控存在风险的 AI 使用情况。当用户和代理与模型和 AI 应用程序进行交互时，可以对交互模式进行基线分析，以发现可能表明恶意意图或帐户泄露的异常行为（例如，权限可能允许访问敏感数据，但过度使用敏感数据可能会触发警报）。

第二阶段：拓展AI应用保护，安全开发和运行AI应用

将 AI 发现、清单和风险评级扩展到 AI 应用。世界各地的开发人员都在采用模型。模型发现必须扩展到IaaS ，因为许多企业采用的 AI 应用都在使用超大规模提供商提供的模型。当开发人员在 IaaS 的私有网络、自己的数据中心、本地计算机上或作为插件安装本地模型时，模型发现会变得复杂。AISP 帮助企业扫描 AI 开发流程元素，例如代码存储库、AI 工程平台和持续集成/持续交付工具，以识别组织中正在构建的 AI 应用。这是确保定制开发 AI 应用安全的必要的第一步。

添加 AI 安全态势管理 (AI SPM)。AI SPM 工具可帮助企业扫描正在使用的模型，以识别其相关的数据管道、设置、模型配置、共享、主权和隐私政策。AI SPM 与 SASE/SSE 供应商、SaaS 安全态势管理 (SSPM) 供应商和云安全态势管理 (CSPM) 供应商在逻辑上是相邻的（由于许多公共通用 LLM 都是基于超大规模的，因此 Wiz 和 Palo Alto Networks 等供应商已在其 CSPM 产品中提供 AI SPM 功能）。

扩展企业应用程序到模型用例的提示/响应保护。大多数企业开始开发自己的人工智能应用程序和模型，其中一些应用程序和模型对外开放，容易受到攻击。在 Gartner 最近的一项调查中，32% 的受访者表示，他们的人工智能应用程序曾遭受过利用应用程序提示的重大或轻微攻击。针对公开模型的人工智能运行时防御相当于针对公开 Web 应用程序的 Web 应用程序和 API 保护 (WAAP)，理想情况下，使用与上述相同的基础人工智能保护策略。这个市场竞争激烈，Gartner 追踪了该领域 40 多家不同的供应商，从市值数十亿美元的老牌安全供应商（包括 WAF/WAAP 供应商）到数十家初创公司。

将保护扩展到模型到模型和代理到代理的通信。模型上下文协议 (MCP) 已被广泛采用，它为具有嵌入式模型的技术提供商提供了一种安全连接外部数据源、工具和系统以进行实时数据检索和任务执行的方式。MCP 是一种新的开源协议，它具有其自身的安全隐患，需要考虑。代理还将使用新兴标准（例如代理到代理协议 (A2A）与其他代理通信。AISP 供应商必须不断发展以支持这些新通信协议和交互的在线检查和保护。新兴的专用 MCP 网关是实施策略的一种方法，但又创建了另一个 AI 策略实施孤岛。领先的在线 AISP 将通过支持 MCP、A2A 和其他新兴的 AI 特定协议来扩展 AI 策略保护。

将提示/响应保护扩展到代理与模型之间的通信。基于端点的模型访问将不仅限于用户通过浏览器访问。Microsoft 365 和 Google Workspace 等工作区应用程序中的嵌入式 AI 代理已在部署中。这些代理交互也需要一致的安全保护。为代理对话提供适当的访问控制和保护需要了解代理身份。有时，代理会代表人类用户行事；有时，代理会自主运行。代理访问权限不应硬编码——它们应该是短暂的，从而支持对模型和其他代理的即时和最小权限（零信任）访问。《采取三大战略举措以保持未来 SASE 的有效性》一文强调了保护基于代理的通信是买家在 SASE/SSE 创新中关注的关键领域，也是 Palo Alto Networks 收购 CyberArk 的主要动机。

监控恶意代理检测和异常的人工智能应用行为。随着人工智能应用通过 MCP 和 A2A（以及其他新兴协议）开放，各种代理、工具、编排器和网关将进行访问，其中一些不在企业控制范围内。需要对这些交互进行基线分析，以发现可能表明存在恶意代理/工具或代理/工具被入侵的异常和危险行为。根据风险，可以阻止或限制访问，或发送警报以供人工调查。

整个平台均支持混合多模态安全护栏。买家正在寻找支持模型和 AI 主权的 AISP 产品。对模型主权的需求源于对隐私、信任和法律/监管要求的担忧。缺乏模型主权保护且不支持多模态扫描将成为需要在云端进行及时检查的 AISP 供应商的竞争劣势。获胜者将支持所有内容模式（文本、视频、音频等）的护栏。获胜者还将提供在逻辑上接近其所保护模型（包括本地）运行保护的选项，以实现更快的保护、减少带宽并避免向其他云发送提示/响应。安全提供商 应提供多种执行选项，包括软件（包括基于 Kubernetes 的保护选项）和硬件设备（可能需要 DPU 和 GPU 来提高性能）。领先者将提供直接在 AI 服务器集群内运行 AI 防护的选项。例如，一些供应商已经支持其防护软件直接在 NVIDIA 集群上运行。

提供自动化 AI 安全测试的能力（或合作伙伴）。AI模型测试是一种渗透测试，旨在测试自定义模型及其护栏是否能够进行适当的保护和策略实施。这应该是自动化和连续的，因为模型经常被更改和重新调整。测试至少应该解决OWASP 列出的 AI 应用程序十大风险。测试可以在生产中或模型开发过程中针对模型进行，或者两者兼而有之。还需要测试 Microsoft 365 Copilot 等商业模型，以确保它们正确遵守权限和隐私控制，并且没有敏感数据被无意中暴露。一些模型园提供商提供集成测试（例如，内容审核、偏见和恶意意图），因此此功能成为 AISP 供应商优先级较低的路线图项目。

注1：专用模型

专用模型专注于完成有限的目标任务或特定领域的任务，并在特定情境或信息类别（例如主题、行业或问题集）中运行。它们可以通过微调、改进或过滤基础模型来创建。它们也可以使用 GenAI 技术，直接从大量独特数据和/或强大的领域知识中创建。

注 2：运行时 AI 保护与 Web 应用程序和 API 保护的相似之处

对运行时 AI 防御的需求类似于保护私人网站的需求，这催生了价值数十亿美元的 Web 应用程序和 API 保护 (WAAP) 市场。WAF/WAAP 市场规模高达数十亿美元。WAF/WAAP 保护私有应用程序，但 WAF/WAAP 不会部署在公共 Web 应用程序（例如 Salesforce、Box 和 Microsoft 365）的前端。同样，保护公共模型不需要完整的运行时 AI 模型保护，但它将用于保护私有应用程序中使用的私有 AI 模型。然而，公共模型需要部分模型保护（例如检查提示/响应是否存在敏感数据泄露）。能够根据企业需求灵活地模块化地选择保护功能，这正是 AI 安全平台应具备的功能。

注3：拥挤的运行时AI防御/AI护栏市场

Gartner 正在跟踪该领域的 40 多家供应商，其中包括：

• 防火墙供应商。包括 Check Point Software、Cisco、Fortinet 和 Palo Alto Networks。

• SASE/SSE 供应商。包括 Zscaler 以及最近 Cato 收购的 Aim Security。

• WAF/WAAP 和边缘分发平台供应商。包括 Akamai 和 Cloudflare

• 应用交付控制器供应商。例如，A10 Networks 提供相关产品，F5 最近宣布收购 Calypso AI。

• 数据保护供应商。Securiti 提供了相关产品，而 Cyera 最近也宣布了其 AI 护栏产品。

• 超大规模模型提供商。AWS、谷歌和微软均提供 AI 护栏/AI 运行时防御产品。

• 大型公共LLM 提供商。例如，Anthropic 和 OpenAI 都有内置的防护措施。

• CWPP（云工作负载保护平台）和CNAPP（云原生应用保护平台）提供商。例如，Aqua Security 的代理可以保护支持 AI 的应用程序，微软推出了 Defender for AI，SentinelOne 收购了 Prompt Security，而 Wiz 的运行时传感器可以监控和保护支持 AI 的应用程序。

• 超过 20 家初创公司。