计算BERT-BASE参数量

今天我们来计算一下BERT-BASE的参数量

已知

Transformer 层数	12
隐藏层维度	768
注意力头数	12
词汇表大小	21128
最大位置编码	512

BERT的结构

拆分下来看:

1. embedding部分: 输入数字列表,经过embedding层之后相加, 输出矩阵

token embedding: 一个词对应一个向量

V(词表大小)*h(指定向量维度,base中是768)

segment embedding: 区分两句话

2*h (现在已经不用了)

position embedding: 需要事先设置一个最大值,超过截断(512个)

512*h(现在不用绝对位置编码了,用相对位置编码)

注意下图中input中的cls和sep

求和 → 归一化 → 送入 Transformer 层

这里的归一化操作（Layer Norm）用于：

稳定嵌入层输出的分布（不同嵌入成分的尺度可能不同）；

避免嵌入向量的绝对值过大，影响后续注意力机制的计算稳定性。

与 Transformer 层中的层归一化一样，嵌入层归一化的参数为两个可学习的向量：缩放参数和偏移参数

embedding层的参数量=V(词表大小)*h(指定向量维度,base中是768)+2*h+512*h+2*h

2. 单个transformer层(包括attention层,feedforward层和ln层)*12

回顾一下这个图

2.1 self-attention部分

输入X 形状 L*h(即embedding之后的输出)

1. 线性变换：输入序列通过 3 个独立的线性变换矩阵（W_Q、W_K、W_V）生成 Q（查询）、K（键）、V（值）矩阵(其实是wx+b)。Q,K,V 形状是L*h. WQ,WK,WV 参数量 3*h*h+3*h
2. 多头分割：Q、K、V 被分割为 n_heads 个并行的子矩阵（每个头维度为 d_head = d_model /n_heads），实现多视角注意力计算。
3. 自注意力计算：每个头独立计算注意力分数：

• 先计算 Q 与 K 的相似度（点积）：Q・Kᵀ

• 除以√d_head（除以根号DK原因是如果数值过大,会出现softmax的值极端的情况,缩小绝对值会使得这些值不会都趋向于0）

• 经过 softmax 得到注意力权重(softmax是将每一行归一化,实际是计算每句中任意两个字的相关性)

• 与 V 矩阵相乘得到该头的注意力输出

       4. 拼接与投影：所有头的输出拼接后，通过输出投影矩阵（W_O）整合为最终结果，维度与输入保持一致（d_model）。W_O 参数量 h*h+h

       5. 残差连接与层归一化：layernorm(X+Z) 注意力输出与原始输入相加（残差连接），再经过层归一化，作为最终输出传递给前馈网络。

2.2 feed forward部分

两个线性层+中间一个激活层

维度变化: h--->4h--->h

一、标准 Feed Forward 层结构与参数

在 Transformer（包括 BERT）中，Feed Forward 层由两个线性变换组成，定义为：

• 输入维度： d_model （通常称为 embedding size，如 BERT-BASE 中为 768, 即h）

• 中间层维度： d_ffn （通常称为 hidden size，如 BERT-BASE 中为4*768, 即4*h）

1. 第一个线性层（升维）

作用：将输入从 d_model 映射到 d_ffn 参数计算： 权重矩阵 + 偏  置向量 = d_model   × d_ffn + d_ff  n （输入维度 × 中间维度 + 中间维度偏置）

2. 第二个线性层（降维）

作用：将中间层从 d_ffn 映射回 d_model 参数计算： 权重  矩阵 + 偏置向量 = d_  ffn × d_model + d_mo  del （中间维度 × 输出维度 + 输出维度偏置）

3.池化层

在 BERT 模型中，池化层（Pooling Layer）的作用是将序列级别的的隐藏状态转换为一个固定长度的向量，用于表示整个输入序列的语义信息。BERT-BASE 中的池化层设计相对简洁，主要通过以下方式实现：

一、BERT-BASE 池化层的核心机制

BERT 采用了一种特殊标记（[CLS]）+ 线性变换的池化策略，而非传统的平均池化或最大池化。具体流程如下：

1. [CLS] 标记的引入 在输入序列的最开头，BERT 会插入一个特殊的   [CLS] （Classification）标记。例如：    [CLS] 我 爱 自然 语言 处理 . 

1. [CLS] 标记的隐藏状态 经过 12 层 Transformer 编码器后，   [CLS] 标记对应的隐藏状态（记为   C ）被视为整个序列的 “汇总表示”。

• 原因：在预训练阶段，   [CLS] 标记会通过自注意力机制 “关注” 整个序列的信息，逐渐学习到整合全局语义的能力。

1. 池化层的输出    [CLS] 的隐藏状态会直接作为池化层的输出，其维度为   d_model=768 （与 BERT-BASE 的隐藏层维度一致）。

二、与其他池化方式的对比

BERT 没有采用传统池化（如平均池化），主要原因是：

• 动态适应性：   [CLS] 标记的隐藏状态通过自注意力动态捕捉序列中最关键的信息，而平均池化会无差别对待所有 token，可能稀释重要信息。

• 预训练对齐：在预训练的 Next Sentence Prediction（NSP）任务中，   [CLS] 被专门用于判断两个句子的关系，天然适合作为序列级表示。

三、池化层的参数

BERT-BASE 的池化层本身没有额外的可学习参数，它直接复用   [CLS] 标记经过最后一层 Transformer 输出的隐藏状态。但在实际应用中，下游任务（如文本分类）通常会在池化输出后添加一个线性层(h*h+h)，将 768 维向量映射到任务所需的类别数。这些线性层参数是下游任务训练时学习的，不属于 BERT 预训练模型的池化层参数。

总参数量=嵌入层参数量+transformer层参数量+池化层参数量

=V(词表大小)*h(指定向量维度,base中是768)+2*h+512*h+2*h+(4*h*h+4*h+h*4*h + 4*h+4*h*h+h+2*2*h)*12+h*h+h=102267648

可以用代码验证一下~

from transformers import BertModelmodel = BertModel.from_pretrained(r"\models\bert-base-chinese", return_dict=False)
print("模型实际参数个数为%d" % sum(p.numel() for p in model.parameters()))

今天的分享就到这里,有问题欢迎评论区留言 ^_^