LoRA三种不同训练流程在配置和保存权重的差异(64)

调整大小的嵌入层 vs 需保存的模块

若你将嵌入层（embedding layer）添加到 modules_to_save（需保存模块列表）中，它会如预期般被保存。若你对嵌入层进行大小调整（第 4 节课将详细讲解此操作），系统会自动检测到这一变化，嵌入层同样会被保存，但不会被添加到 modules_to_save 列表中。之后查看已保存的配置时，嵌入层不会在列表中显示，即便 .safetensors 文件里包含了已保存的嵌入层参数。

PEFT（参数高效微调）工具

PEFT会使用 get_peft_model_state_dict() 工具函数构建一个字典，该字典仅包含必须保存的层和模块：适配器（adapters）、需保存模块列表（modules_to_save 中的内容），以及调整过大小的嵌入层（无论其是否在需保存模块列表中）。

三种训练流程

以下代码展示了三种不同训练流程在配置和保存权重上的差异：

仅使用适配器（需保存模块列表为空）、

将 embed_tokens（词嵌入模块）加入需保存模块列表，

以及对嵌入层进行大小调整（需保存模块列表为空）：

from safetensors