当前位置: 首页 > news >正文

什么是 LoRA 学习笔记

什么是 LoRA?

LoRA 的全称是 Low-Rank Adaptation(低秩适配),它是一种高效的模型微调方法。

✅ 它的核心思想是:不修改原始大模型的参数,而是插入少量新参数(adapter 层)来进行训练,从而达到定制化微调的目的。


🧠 什么是 LoRA 检查点路径?

LoRA 检查点路径”指的是 保存了 LoRA 微调结果的文件或文件夹路径

这个路径中包含了训练后生成的 LoRA adapter 权重文件,它通常:

  • 体积小(几十 MB 到几百 MB)

  • 不包含完整模型权重

  • 需要与原始大模型一起加载使用


📁 常见的文件结构

举例:

lora_checkpoint/

├── adapter_config.json # LoRA 配置文件

├── adapter_model.bin # 微调后的权重文件

在代码中加载的方式通常是这样的(以 Transformers 库为例):

from peft import PeftModel from transformers import AutoModelForCausalLM 
# 加载原始大模型 
base_model = AutoModelForCausalLM.from_pretrained("模型名称或路径") # 加载 LoRA 检查点(即 LoRA 检查点路径)
lora_model = PeftModel.from_pretrained(base_model, "lora_checkpoint/")

✅ 总结翻译:

英文术语中文翻译
LoRA低秩适配(Low-Rank Adaptation)
LoRA Checkpoint PathLoRA 检查点路径 / LoRA 微调权重路径
Adapter适配器层(微调时插入的小参数层)
Fine-tune微调
Base model基础模型,原始模型


如你手上有某个 lora_checkpoint_path 配置或路径值,也可以贴出来,我可以帮你具体解释用途。

http://www.dtcms.com/a/303507.html

相关文章:

  • 项目执行标准流程是什么样的,如何制定
  • Java 接口入门学习笔记:从概念到简单实践
  • ts学习3
  • Microsoft 365中的Compromised User Detection功能深度解析:智能识别与防护用户账户安全的利器
  • 极速保鲜+ERP数字化,深圳“荔枝出海”驶入外贸订单管理快车道
  • 2023.2.2版IDEA安装教程(ideaIU-2023.2.2.win.exe详细步骤)Windows电脑一键安装指南
  • 二层环路与三层环路:原理、区别与解决方案全解析
  • MacBook IOS操作系统格式化U盘FAT32
  • 铜金矿数据分组优化系统设计与实现
  • 前端基础之《Vue(25)—Vue3简介》
  • Go 原理之 GMP 并发调度模型
  • it is not annotated with @ClientEndpoint“
  • 【学习路线】Android开发2025:从入门到高级架构师
  • 拓扑排序算法
  • LeetCode 85. 最大矩形
  • Nginx 四层(stream)反向代理 + DNS 负载均衡
  • 回滚日志-undo log
  • Resilience4j 实战—使用方式及配置详解
  • 如何利用机器学习分析筛选生物标记物
  • 【机器学习】第八章 模型评估及改进
  • C++入门自学Day2-- c++类与对象(初识)
  • Redis做混沌测试都需要测哪些场景?预期如何?
  • Java项目:基于SSM框架实现的进销存管理系统【ssm+B/S架构+源码+数据库+毕业论文+远程部署】
  • # Android 15 修改系统源码指定安装源
  • yolo 目标检测600类目标
  • 免费版酒店收银系统弹窗在押金原路退回流程中的应用价值探究 ——仙盟创梦IDE
  • React Router v6 核心组件
  • 关闭 UniGetUI 自动 Pip 更新,有效避免 Anaconda 环境冲突教程
  • 基于Vue3.0+Express的前后端分离的任务清单管理系统
  • Leaflet 综合案例-矢量图层控制