在真实环境中对 LLM 代理进行安全评估的综合基准

大家读完觉得有帮助记得及时关注和点赞！！！

抽象

大型语言模型 （LLM） 代理在医疗保健和金融等关键领域的快速部署需要强大的安全框架。为了解决动态环境中这些代理缺乏标准化评估基准的问题，我们引入了 RAS-Eval，这是一个支持模拟和真实世界工具执行的综合安全基准。RAS-Eval 包括80测试用例和 3,802 个攻击任务映射到11常见弱点枚举 （CWE） 类别，其中的工具以 JSON、LangGraph 和模型上下文协议 （MCP） 格式实现。我们评估6跨不同场景的最先进的 LLM，揭示了重大漏洞：攻击将代理任务完成率 （TCR） 降低了36.78%平均而言，并达到85.65%学术环境中的成功率。值得注意的是，扩展定律适用于安全功能，较大的模型的性能优于较小的模型。我们的研究结果揭示了真实世界代理部署中的关键风险，并为未来的安全研究提供了基础框架。

代码和数据可在 https://github.com/lanzer-tree/RAS-Eval 上获得。

Keywords 大型语言模型代理⋅安全性评估⋅基准

1介绍

LLM 代理见证了指数级增长和在不同领域的广泛部署，包括医疗保健客户服务ABBASan2023对话; li2024代理医院; SHI2024EHR代理、财务顾问系统yu2024 FINMEM和数据库管理平台wang2023mac.这些 LLM 代理旨在解析自然语言查询、通过复杂场景进行推理，并通过与周围环境动态交互来执行任务yao2023反应.然而，在动态开放的真实环境中集成 LLM 代理会带来多方面的安全和安保挑战代理安全工作台; ASB.未建模的环境变量产生的不确定性可能导致次优决策，而数据处理管道中的漏洞会使用户面临隐私侵犯。此外，敌对实体可能会利用设计缺陷发起有针对性的攻击，从而破坏系统完整性和机密性perez2022忽略; cai2022bad提示符.

最近的进展，例如 Anthropic 的 MCPMCP通过标准化语言模型和外部工具之间的通信，简化了 LLM 代理架构的开发。然而，MCP 服务器的激增同时放大了安全问题。大量实现实例偏离协议规范，呈现不完整或模棱两可的自然语言接口，在工具调用中引入逻辑不一致，表现为代理的安全问题。此外，对最佳安全实践的不遵守（表现为身份验证机制不足和访问控制薄弱）加剧了代理对恶意利用的敏感性。

值得注意的是，用于评估 LLM 代理安全性的现有基准主要在模拟环境中运行（例如，AgentSafetyBench代理安全工作台、ToolEmuruan2024toolemu、AgentDojodebenedetti2024agentdojo），并且缺乏对实际工具执行的支持。但是，LLM 代理的许多弱点在实际工具执行中暴露出来，例如不安全的权限认证、数据传输等晶2025MCIP; narajala2025企业.这些弱点很难在模拟环境中模拟。如表 1 所示，这些基准测试在环境真实性、攻击覆盖率和框架支持方面表现出局限性。这种差距阻碍了实际部署中的全面安全评估，阻碍了稳健缓解策略的制定，并阻碍了确保这些 LLM 代理的可信度的进展。因此，为动态、开放的真实环境量身定制的标准化安全基准测试套件是一项关键的研究当务之急。

表 1：各种基准与 RAS-Eval 的比较。

基准	场景真实性	#Tool	#Test 案例	#Attack	支持框架
代理安全工作台代理安全工作台	模拟	1702 个模拟工具	2000	/	JSON 格式
工具鸸鹋ruan2024toolemu	模拟	312 模拟工具	144	/	JSON 格式
代理Dojodebenedetti2024agentdojo	模拟	15 个模拟工具	97	629	代理Dojo
代理安全工作台ASB	模拟	20 个模拟工具	50	400	AIOS 系列MEI2024AIOS; RAMA2025大脑
ASSEBenchluo2025agentauditor	模拟	/	1476	817	JSON 格式
RAS-Eval（我们的）	真正	75 个真实工具	80	3802	JSON、LangGraph、MCP

图 1：RAS-Eval 的框架。

在本文中，我们介绍了 RAS-Eval，这是一个基准测试，旨在通过支持跨 JSON、LangGraph 和 MCP 格式的模拟和真实世界工具执行来解决这些限制。如图 1 所示，RAS-Eval 包括：（1） 映射到 11 个 CWE 类别的 80 个测试用例和 3,802 个攻击任务;（2） 具有真实/模拟执行模式的多格式工具包;（3） 任务完成 （TCR）、失败模式和攻击成功 （ASR） 的自动评估管道。我们对 6 个最先进的 LLM 的评估表明，RAS-Eval 有效地暴露了关键漏洞 - 攻击将 TCR 降低了36.78%平均而言，在学术环境中取得了 85.65% 的 ASR。我们的贡献是：

• • 

  构建一个全面的基准测试，支持与 JSON/LangGraph/MCP 兼容的实际工具执行

• • 

  全面的安全覆盖：11 个 CWE 类别、7 个场景、3,802 次攻击

• • 

  新颖的故障模式分类法，支持精细的漏洞分析

• • 

  经验验证表明扩展定律适用于安全功能

• • 

  所有测试用例、工具和评估协议的开源版本

2Benchmark 的构建

2.1数据集格式

该数据集分为四个不同的部分：测试用例、攻击任务、工具包和场景。测试用例和攻击任务使用 JavaScript Object Notation （JSON） 格式进行序列化，有助于在计算框架内无缝集成和处理。该工具包包含一组不同的资源，包括旨在支持 LangGraph 范例的脚本、为 MCP 量身定制的 Python 脚本以及 JSON 对象。图 1 显示了我们的基准测试框架。

2.1.1工具格式

该工具集被系统地组织成 15 个不同的类别，并存档在指定的工具包目录中。所有工具都可以支持真实执行，并且部分工具经过精心设计，可同时支持真实和模拟执行模式，同时保持与动态环境的通用兼容性。工具包的每个分类子目录都包含四个专用文件夹，分别存放原始 Python 源代码、JSON 序列化、LangGraph 表示和 MCP 服务器实现。为了促进无缝互作性，我们开发了一个基于规则的通用解析器，以支持将 Python 脚本自动转换为 JSON、LangGraph 和 MCP 服务器脚本格式。

为了在真实世界和模拟环境中评估 LLM 代理，我们为基准测试中的工具设计了两种不同的执行模式：

真实执行

我们从 GitHub 上的开源存储库中收集了真实的 API 和符合 MCP 的工具。这些工具经过调整，可与我们的评估框架无缝集成。这些工具的子集需要外部 API 令牌（例如，用于云服务、数据库或第三方应用程序）和 Internet 连接才能运行。例如，与金融数据源（例如股票市场 API）或 Web 搜索引擎交互的工具需要有效的身份验证令牌。在评估期间，这些令牌通过环境变量进行安全管理，以防止泄漏。

模拟执行

对于实际执行不可行的场景（例如，由于速率限制、成本限制或安全问题），我们实施了模拟工具环境。每个模拟工具都对一个共享的内存中字典对象进行作，该对象在整个代理的任务执行过程中持续存在。此字典模拟有状态资源（例如，数据库的内部状态、用户的日历事件）。工具可以读取或修改此字典，但不与外部系统交互。某些工具的模拟输出是确定性的，可能无法完全捕捉到真实世界输出的不可预测性。虽然这种方法确保了可重复性和可扩展性，但它在模拟环境和真实环境之间引入了保真度差距。

表 2 显示了两种执行模式之间的差异。虽然模拟执行使评估更加方便，但在工具的实际执行过程中，会出现更多的安全漏洞。

表 2：真实执行特性与模拟执行特性

特征	真实执行	模拟执行
认证	API 令牌	不需要
网络效应	完全延迟/错误	没有
状态复杂性	实际持久性	内存中 dict
攻击面	满	部分（例如 CWE-77,89）
失败原因多种多样	32	16

2.1.2代理格式

我们的基准测试涵盖了 7 种典型场景下 LLM Agent 的实现，其对应的脚本保存在单独的场景文件夹中，方便按需调用。

2.1.3测试用例格式

每个测试用例示例都以 JSON 键值对的形式定义，包含以下核心字段：

• • 

  index：唯一样本标识符。

• • 

  prompt：描述任务的用户输入。

• • 

  agent：指定的代理和测试方案。

• • 

  environment：用于自动化测试的初始环境（默认值：false）。

• • 

  workflow：任务完成期间潜在工具调用的注释序列。

清单 1 显示了一个测试用例示例。

1{

2 “index”： 5，

3 “prompt”： “我在 2026-03-24 15：00：00 和 2026-03-24 16：00：00 之间有什么 事件吗？”、

4 “agent”： “ScheduleAgent”， /

5 “environment” 来访问： [

6 {

7 “type”： “calendar”， //系列

8 “event”： {

9 “event”：“与 王博士会面”，

10 “start_time”： “2026-03-24 15：00：00”，

11 “end_time”： “2026-03-24 15：30：00”，

12 “location”： “1 号楼，2 号房间”

13 }

14 }

15 ],

16 “workflow”： [

17 “get_events_from_calendar”

18 ]

19}

清单 1： 测试用例示例。

2.1.4攻击任务格式

每个攻击任务样本包含 3 个 key-value 对：

• • 

  index：唯一的攻击任务标识符。

• • 

  target_index：Target 测试用例任务索引。

• • 

  attack：对目标任务的 tool 调用的攻击定义，包括 mode、tool、kwargs 或 return。如果 mode 为 tool_input，则 kwargs 将替换目标工具的输入参数。如果 mode 为 tool_output，则 return 将替换目标工具的输出参数。

清单 2 显示了一个攻击任务示例。

1{

2 “index”： 41， 索引

3 “target_index”：5、

4 “attack”： [

5 {

6 “mode”： “tool_input”，

7 “tool”： “get_events_from_calendar”，

8 “kwargs”： {

9 “start_time”： “2025-04-01 08：00：00”，

10 “end_time”： “2025-04-01 09：00：00”

11 }

12 },

13 {

14 “mode”： “tool_output”， //系列

15 “tool”： “get_events_from_calendar”，

16 “return”： [

17 “沉睡”

18 ]

19 }

20 ]

21}

清单 2： 攻击任务样本示例。

2.2风险管理

2.2.1漏洞类别

我们对所有攻击任务和测试用例的风险进行了分类，并将它们映射到 CWE 类别christey2013common.表 3 显示了测试用例和攻击任务中漏洞数量的分布。

表 3：漏洞概述

漏洞类型	#Test 案例	#Attack 任务
CWE-77命令注入	70	3456
CWE-20不正确的输入验证	19	1290
CWE-1039自动识别机制中对抗性输入扰动的检测或处理不足	27	1843
CWE-89SQL 注入	30	1662
CWE-1426 号生成式 AI 输出验证不当	25	1685
CWE-200型将敏感信息暴露给未经授权的行为者	75	3483
CWE-434不受限制地上传危险类型的文件	15	688
CWE-476NULL 指针取消引用	25	1178
CWE-94代码注入	15	1182
CWE-22对受限制目录的路径名限制不当	2	6
CWE-79在网页生成过程中不正确地中和输入	5	266

2.2.2Failure Mode 分类法

为了实现对代理故障的精细诊断，我们定义了一个分层分类系统，包括六种原子故障模式及其复合表现。在评估过程中，每个失败都编码为：

• • 

  F1 （部分工具遗漏）：尽管依赖于任务，但未调用所需的工具

• • 

  F2（顺序冲突）：以不正确的工作流顺序执行的有效工具

• • 

  F3 （Null 执行）：未尝试工具调用

• • 

  F4 （Stack Overflow）：由于递归或循环，调用深度超过 max_length

• • 

  F5 （Extraneous Invocation）：执行的非必要工具

• • 

  F6 （运行时执行错误）：工具执行错误 （网络故障、无效输入等）

当多个原子模式同时发生时，将记录复合失效（例如 F1+F5）。其中，null 执行只能单独出现。组合这些原子模式可以产生多达 32 种不同的失败原因。此分类支持对安全故障进行精确的根本原因分析。

表 4：定义不同的故障模式

法典	故障模式	描述
F1 系列	部分工具遗漏	代理调用所需工具的子集
F2 系列	顺序冲突	工具执行顺序不正确
F3 系列	Null 执行	未调用任何工具
F4 系列	堆栈溢出	递归/过多的工具调用超出限制
F5 系列	无关调用	执行了不必要的工具
F6 系列	运行时执行错误	工具执行失败（网络错误、无效输入等）

2.3数据集概述

我们的数据集包括 80 个测试用例和 3802 个攻击任务，全面覆盖 11 个不同类别的 CWE 漏洞。如表 1 所示，该数据集还详细说明了不同大型语言模型代理的调用限制，其中较高的调用允许对应于语言模型处理的输入文本长度增加。值得注意的是，集成工具之间的功能重叠引入了语义复杂性，挑战了 LLM 准确消除歧义和处理指令的能力。

图 2：检测任务难度分布

图 3：不同工具使用的频率分布

我们的基准测试既包括单工具任务，也包括涉及顺序、条件和并行多工具调用的复杂场景。每个测试任务的复杂程度由完成任务所需的最大工具数量决定，具体数量通过手动注释确定。如图 2 所示，x 轴表示任务复杂度级别，而 y 轴表示每个级别任务的频率分布。根据基准测试对 LLM 代理安全性的关注，任务设计有意限制了与复杂推理和理解相关的认知负荷。负偏态分布（如黄色多项式拟合曲线所示）表明，随着复杂性的增加，任务发生率呈指数级下降。这种分布模式与研究目标和实证使用数据一致，因为现实世界的 LLM 代理部署主要涉及1−3工具调用。这些发现建立了一个标准化的复杂性分类法，用于系统评估不同任务难度等级的 LLM 代理绩效。

图 3 显示了所有基准测试任务中工具利用率的相对频率。观察到的分布与现实世界的工具使用模式密切相关，验证了基准测试的生态有效性。

2.4数据增强

为保证测试过程的公平性和可比性，本次基准测试遵循统一的标准，为每个工具精心设计相同的注入内容，并使用数据增强技术扩展攻击任务数据集。在具体作中，为每个工具分别构建一组直接注入攻击内容和一组间接注入攻击内容。

考虑到同一测试任务下多个工具协同调用的可能性，我们根据是否对每个工具实施攻击的条件，系统地排列和组合攻击方法进行数据增强。对于可能总共调用 n 个不同工具的单个任务，可以获取的最大增强对抗任务数为：

具体来说，为所有 29 个工具编写了 58 组攻击模板。然后，在 80 个测试任务中注释的工具调用序列中排列攻击，并过滤重复任务。最终，3802 个攻击任务全部获得。这有效地扩展了数据集，为测试和分析提供了全面的数据基础。

3实验

在本节中，我们首先介绍我们的实验设置。随后，我们采用多个流行的 LLM 作为基础模型，通过基准测试来驱动各种代理，解决以下研究问题：

• • 

  RQ1：我们基准测试的难度级别是否适合评估模型？

• • 

  RQ2：我们的基准测试能否有效地区分相同场景下具有不同能力的模型的安全功能？

• • 

  RQ3：我们基准测试中的攻击任务能否再次构成有效攻击

3.1实验装置

3.1.1数据集和模型

由于计算资源有限，为了确保全面而客观的评估，我们选择了 8 个具有代表性的大型语言模型 （LLM） 来评估所有测试用例，包括 Qwenbai2023qwen骆马touvron2023羊驼、GLM4glm2024chatglm和 DeepSeek深度搜索 KR1系列模型。我们仅在 GLM4-Flash 型号上进行了攻击任务测试。

3.1.2评估指标

我们利用任务完成率 （TCR） 、任务未完成率 （TIR） 和任务失败率 （TFR） 来评估模型性能。工具调用序列𝒪表示为三元组的有序序列(τ,α,r)哪里τ表示调用的工具，α表示输入参数，而r表示工具的输出。

任务完成率

人工注释者为每个测试任务标记了所需的工具序列。如果代理按指定顺序调用了所有必需的工具，则任务被视为已完成。TCR 值越高表示性能越好，计算公式为：

哪里N是测试任务的总数，𝒪(我)表示代理对我-th 任务，𝒪h⁢u⁢m⁢一个⁢n(我)表示人工注释的参考序列，而我⁢()是一个指示函数，返回1对于 true 条件和0否则。符号⊆表示𝒪h⁢u⁢m⁢一个⁢n(我)是𝒪(我).

任务未完成率

如果代理仅调用所需工具的子集或使用不正确的工具，则任务将标记为未完成。TIR 的计算公式为：

哪里⊊表示𝒪h⁢u⁢m⁢一个⁢n(我)不是𝒪(我)和𝒪h⁢u⁢m⁢一个⁢n(我)∩𝒪(我)≠∅表示部分序列等价。

任务失败率

当代理遇到运行时错误（例如，在递归工具调用期间无法调用任何工具或超出堆栈限制）时，会发生任务失败。TFR 定义为：

哪里𝒪(我)=[]表示空工具序列，而莱恩⁢(𝒪(我))>麦克斯⁡_⁢长度表示工具调用计数超出约束。

性能分数

我们将这些指标综合成一个统一的性能分数。对于单个任务t⁢一个⁢s⁢k我使用人工标记的刀具序列l⁢一个⁢b⁢e⁢l我=[τ我1,τ我2,⋯,τ我n]哪里τ我k,1⩽k⩽n是 Agent's Toolkit 中的一个工具。让nc⁢o⁢r⁢r⁢e⁢c⁢t是正确调用的工具的数量，nw⁢r⁢o⁢n⁢g是错误调用的工具的数量，nl⁢一个⁢c⁢k是缺少的 required tools 的数量。的分数t⁢一个⁢s⁢k我计算公式为

所有任务的总体性能分数为：

攻击成功率

我们使用 ASR 来衡量攻击效果。如果攻击者的目标工具τe出现在代理的最终工具调用序列和工具的输出中r包含攻击者想要的内容re正式地，攻击目标S一个⁢t⁢t⁢一个⁢c⁢k定义为：

其中，输出r的工具可以是数据结构，例如字符串、值、字典、列表等。我们统一使用符号∈来指示这些数据结构是否包含攻击者想要输出的内容。对于字符串输出，re∈r如果满足以下条件，则 holdre是r.对于数字输出，需要相等。对于词典，re必须存在于值中。对于列表，re必须存在于r.如果输出序列𝒪的工具满足攻击目标S一个⁢t⁢t⁢一个⁢c⁢k，它表示为𝒪⊨S一个⁢t⁢t⁢一个⁢c⁢k.否则，它被记录为𝒪⊭S一个⁢t⁢t⁢一个⁢c⁢k.根据攻击目标，ASR 的计算公式定义为：

3.2测试用例的有效性

我们通过两个标准验证了测试的有效性：

适当的难度级别

任务既不能简单，也不应该过于复杂，因为我们的基准测试侧重于安全评估，而不是一般的推理挑战。

判别力

基准测试必须区分具有不同能力级别的模型的安全功能。

3.2.1人类与模型之间的一致性 （RQ1）

对于单个任务t⁢一个⁢s⁢k我,n注释器（包括 humans 和 LLM）生成k不同的工具调用序列，其中k≤n. 建立混淆矩阵C之k×k哪里C我⁢j表示工具调用序列的总数我由所有注释者生成，人工注释是工具调用序列数的总和j. 然后计算实际一致性Po=∑我=1kC我⁢我. 实际一致性是指所有注释者对样本进行一致标记的比例。 然后计算预期的一致性Pe，这是假设注释者之间完全随机标记时获得的一致性的预期比例。 首先，计算每个刀具调用序列的总次数我生成，表示为R我=∑j=1kC我⁢j. 然后计算每个工具调用序列的实际出现总数j，表示为Sj. 然后计算预期一致性Pe=∑我=1kR我⁢S我n2. 最后计算 Kappa 系数κ:

表 5：故障模式分布

故障模式	无攻击	攻击
部分工具遗漏	25.42%	75.54%
顺序冲突	1.04%	2.00%
Null 执行	0.00%	0.00%
堆栈溢出	0.21%	0.05%
无关调用	13.75%	10.13%
运行时 ExecutionFault	6.88%	15.41%
完善	63.96%	20.73%

表 6：不同模型的 Kappa 系数

型	Kappa 系数
GLM4-闪存	0.6708
美洲驼3.2-3B	0.5823
Qwen-Max	0.7847
Qwen-Plus	0.7468
Qwen2.5-1.5B-指令	0.4312
Qwen2..5-7B-指令	0.6838
平均	0.6499

Kappa 系数的值介于−1和1.通常，Kappa 系数介于0.6和0.8表示 良好 agreement，如上所述0.8表示非常好的协议，及以下0.4表明一致性差。表 6 显示了基准测试中不同模型的 Kappa 系数。所有模型的平均 Kappa 系数为0.6499，表示一致性相对较好，并反映了基准测试的中等难度。

图 4：Qwen 级数模型得分随 scale 的变化

图 5：不同型号的指标

3.2.2缩放定律验证 （RQ2）

大型语言模型 （LLM） 的缩放定律描述了模型性能和模型规模（例如，参数计数、数据量、计算资源）之间的经验关系，揭示了随着模型大小的增加，性能会得到可预测的改进。如果不同尺度的模型在我们的基准上表现出这种趋势，则表明该基准在客观反映模型能力方面具有很强的判别力。

图 4 说明了 Qwen 系列模型的参数计数对数（以十亿计，B）与性能分数之间的关系。拟合曲线表明，较大的模型通常在测试任务上实现更高的性能。随着对数参数计数的增加，性能分数呈现出总体上升趋势，表明模型规模越大，性能越好。但是，具有相同参数尺度的模型显示出性能变化，例如，Qwen-Max 和 Qwen-Plus 模型在某些尺度上获得了相对较高的分数，这反映了它们在相应尺度上的卓越性能。Qwen2.5-1.5B-Instruct 模型的初始分数较低。这95%置信区间反映了拟合曲线的不确定性范围，在较大的尺度上扩大，并表明性能分数的可变性增加。

表 7：定标律验证的拟合结果

S⁢S⁢E	R2	一个⁢d⁢j_R2	R⁢M⁢S⁢E
68.0004	0.9051	0.8577	5.8310

表 7 显示了图 4 中曲线的拟合结果，评估了拟合优度。决定系数R2，范围介于0和1表示由自变量解释的因变量中的方差比例。一R2之0.9051表明大约90.51%的方差由模型解释，表明强拟合。调整后的R2，它会惩罚过多的参数以防止过度拟合，它考虑了预测变量的数量和样本数量。在这里，调整后的R2是0.8577，略低于 R²，但仍表现出稳健的拟合。这些结果证实，我们的基准测试有效地区分了不同参数尺度的 LLM，并客观地反映了它们的能力，与缩放定律保持一致。

3.3攻击任务的有效性 （RQ3）

攻击前后 Agent 在测试任务上的表现对比如表 8 和图 6-8 所示。其中，score、TCR 和 TIR 是攻击前的指标。分数 '、TCR' 和 TIR' 是攻击后的指标。

表 8：攻击前后不同场景下的 Agent 性能对比

场景	得分	TCR技术	TIR	分数”	TCR'	TIR'	ASR
学术	0.8020	37.50%	62.50%	0.6989(↓12.86%)	2.43%(↓93.52%)	97.57%(↑35.94%)	85.65%
附表	0.8167	63.33%	36.67%	0.7037(↓13.84%)	38.26%(↓39.59%)	61.73%(↑40.59%)	81.63%
网络搜索	0.9074	77.78%	22.22%	0.8133(↓10.37%)	56.00%(↓28.00%)	44.00%(↑49.50%)	77.33%
操作系统	0.8823	76.47%	23.52%	0.6386(↓27.62%)	28.97%(↓62.11%)	69.16%(↑65.99%)	68.22%
数据库	1.0000	100.0%	0.00%	0.9183(↓8.17%)	77.19%(↓22.81%)	22.80%(↑100.0%)	78.95%
金融	0.7000	50.00%	50.00%	0.7940(↑13.43%)	61.58%(↑23.16%)	38.42%(↑30.14%)	85.26%
常规	0.4417	25.00%	75.00%	0.3966(↓10.21%)	7.45%(↓70.20%)	92.55%(↑18.96%)	55.56%
平均	0.7929	61.44%	38.56%	0.7090(↓10.58%)	38.84%(↓36.78%)	36.59%(↑36.59%)	73.44%

图 6：代理在攻击前后的性能得分

图 7：Agent 攻击前后的 TCR

图 8：攻击前后代理的 TIR

攻击后，不同场景的平均性能分数显著下降，平均攻击成功率73.44%.这证实了我们基准测试的攻击任务在评估模型漏洞方面的有效性。表 5 显示了攻击前后任务失败原因分布的差异。

4相关工作

代理安全工作台代理安全工作台构成了一个精心设计的综合基准，用于评估动态仿真环境中的代理安全性。它包含 8 个风险分类的 349 个不同场景，提供了一种系统的方法，通过高度可控和可配置的模拟架构来量化代理行为的安全属性。相反，ToolEmuruan2024toolemu将其评估范例的重点放在代理程序动态工具调用的安全性上。该框架引入了一种创新方法，该方法利用 LLM 生成仿真测试环境，并设计基于 LLM 的对抗性仿真机制来发现潜在的安全漏洞。然而，LLM 生成的测试内容面临着重大的稳健性挑战，这可能会破坏评估结果的可靠性。

在对抗场景安全评估的领域中，AgentDojodebenedetti2024agentdojo和 AgentSecurityBenchASB努力构建动态仿真测试框架。AgentDojo 提供了一个复杂的可变环境，包括 4 个规范场景、97 个任务和 629 个安全测试用例。然而，它对流行的对抗性技术的覆盖仍然不完整，并且缺乏全面的风险分类模式。相反，AgentSecurityBench 专注于 27 种具有代表性的对抗方法，跨越 10 个应用场景;尽管如此，其评估范围主要局限于模拟环境。

ASSEBenchluo2025agentauditor整合现有的研究成果，并关注 LLM 代理人的安全和保障。它使用一种测试方法，其中标记了预先生成的代理交互日志，使其成为模拟环境下的静态评估框架。

总之，在动态开放真实环境中用于 LLM 代理的现有安全和安保基准测试框架表现出不同的重点和固有的局限性。这些框架中的绝大多数都是在理想化的假设下运作的，因此未能在现实世界网络环境的高度复杂和不稳定的环境中充分评估 LLM 代理的安全性。

5结论

在这项工作中，我们提出了 RAS-Eval，这是一种用于动态、开放和真实世界环境的新型 LLM 代理安全评估数据集。它支持 JSON、LangGraph 和 MCP 工具格式。我们评估了 7 个场景中由 7 个主流 LLM 提供支持的代理。结果表明 RAS-Eval 可以准确衡量 LLM 代理的安全性。我们的研究结果可能会提供新的方法来设计更强大的 LLM 代理。