【网络安全】大型语言模型（LLMs）及其应用的红队演练指南
未经许可，不得转载。
文章目录
- 什么是红队演练？
- 为什么 RAI 红队演练是一项重要实践？
- 如何开展和规划 LLM 的红队演练
- 1.测试前的准备
- 规划：由谁负责测试
- 规划：测试内容
- 规划：测试方式
- 规划：数据记录方式
- 2.测试过程中
- 3.每轮测试后
- 报告数据
- 区分“识别”与“测量”
本指南提供了一些策略，帮助规划如何在大型语言模型（LLM）产品生命周期的各阶段，围绕负责任人工智能（RAI）风险开展红队演练的设置与管理工作。
什么是红队演练？
“红队演练”一词传统上指的是为测试安全漏洞而进行的系统性对抗攻击。随着大型语言模型的兴起，该术语的含义已扩展至传统网络安全范畴之外，在实际使用中逐步演变为对人工智能系统进行各类探测、测试与攻击的统称。对于 LLM 来说，无论是善意还是恶意的使用方式，均可能产生有害输出，其形式包括仇恨言论、煽动或美化暴力等。
为什么 RAI 红队演练是一项重要实践？
红队演练是开发基于 LLM 的系统和功能时负责任开发的最佳实践之一。尽管红队演练不能替代系统性的测量与缓解工作，但它有助于揭示与识别潜在的危害，从而为评估缓解效果提供参考依据。
每个 LLM 应用的使用场景都是独特的，因此也应当开展红队演练以：
- 测试 LLM 底层模型，并根据