LoRA加入嵌入层、及输出头解析（63）
LoRA加入嵌入层、及输出头解析
-
- LoRA加入嵌入层
- 输出头（model’s head）是否需保存
- 更好且成本更低的方法
LoRA加入嵌入层
让层归一化层保持可训练状态，大约会新增 10 万个需要训练的参数。不过，这在模型总参数中仍只占极小一部分。
“我还应该在‘需保存模块’列表中添加什么呢？”
答案是嵌入层（Embeddings）！
正如你很可能猜到的那样，实现这一点的第一种也是最直接的方法，就是将嵌入层（embedding layer (s)）加入到modules_to_save列表中。
config = LoraConfig(
r=8,
lora_alpha=16,
lora_dropout=0.05,
bias