面向网络安全的开源 大模型-Foundation-Sec-8B

1. Foundation-Sec-8B 整体介绍

        Foundation-Sec-8B 是一个专注于网络安全领域的大型语言模型 (LLM)，由思科的基础人工智能团队 (Foundation AI) 开发 。它基于 Llama 3.1-8B 架构构建，并通过在一个精心策划和整理的网络安全专业语料库上进行持续预训练而得到增强 。该模型旨在解决 LLM 在网络安全领域应用有限的问题，这些问题源于缺乏专业训练数据和表示复杂网络安全知识的困难 。Foundation-Sec-8B 的目标是整合核心网络安全知识，使其成为一个强大的基础模型，适用于各种下游网络安全任务，并推动人工智能驱动工具在公共和私营网络安全领域的进步与应用 。评估结果显示，在特定的网络安全任务上，它的性能与 Llama 3.1-70B 和 GPT-40-mini 等更大规模的模型相当 。

2. Foundation-Sec-8B 的主要研发过程