当前位置: 首页 > news >正文

PEFT 模型解析(59)

PEFT 模型
若你使用 SFTTrainer 类进行训练(第 5 课将详细介绍),仅配置信息可能就足够了 —— 该类会在底层自动完成适配器(adapters)与基础模型的关联工作。
不过目前,我们选择手动完成这一操作,以便更深入理解模型是如何被实际修改的。这个过程非常简单:我们只需调用get_peft_model()函数,并传入以下参数即可:
基础(已预处理好的)模型
LoRA 配置(LoRA 全称为 Low-Rank Adaptation,即低秩适应,是一种常用的 PEFT 技术)
(可选参数)为适配器指定的名称(后续你可能需要在不同适配器之间切换,因此给它们起合适的名称是个不错的做法)

config = LoraConfig(
r=8,
lora_alpha=16,
lora_dropout=0.05
http://www.dtcms.com/a/351221.html

相关文章:

  • Linux 详谈库制作与原理
  • python中生成器
  • 解决qt5.9.4和2015配置xilinx上位机报错问题
  • 学习游戏制作记录(保存装备物品技能树和删除存档文件)8.26
  • 【软考论文】论静态测试方法及其应用
  • 系统设计中的幂等性
  • QPSK调制解调通信仿真程序调试与分析
  • UbuntuV24.04安装mpdecimal库(libmpdec),从源码编译
  • 广告推荐模型3:域感知因子分解机(Field-aware Factorization Machine, FFM)
  • 机器人 - 无人机基础(6) - 状态估计(ing)
  • 1 线性模型
  • 支持向量机(SVM)
  • Java 大视界 -- Java 大数据机器学习模型在金融市场波动预测与资产配置动态调整中的应用
  • 网站开发用什么语言好
  • CentOS扩容非LVM分区
  • PortSwigger靶场之Blind SQL injection with out-of-band interaction通关秘籍
  • Redis--2
  • 在 TencentOS 3 上部署 OpenTenBase:从底层原理到生产级实践的深度指南
  • DBeaver下载安装使用
  • 支持向量机(SVM)算法总结
  • 大数据毕业设计选题:基于大数据的用户贷款行为数据分析系统Spark SQL核心技术
  • 迷你版Shell:源码详解与行为解析
  • 【Linux 34】Linux-主从复制
  • 嵌入式学习日记(34)HTTP协议
  • 支持向量机核心知识总结
  • 读懂支持向量机(SVM)
  • CI/CD 全链路实践:从 Git 基础到 Jenkins + GitLab 企业级部署
  • Flask 之上下文详解:从原理到实战
  • IDEA-Maven和Tomcat乱码问题
  • 2025改版:npm 新淘宝镜像域名地址