当前位置： 首页 > news >正文

Lora 微调自定义device_map

news 来源：原创 2025/5/4 5:17:53

Lora 微调自定义device_map

首先查看模型权重参数配置model.safetensors.index.json
在这里插入图片描述

查看多少解码器

这里的layer可以理解为解码器层，后面有qkv，bais，layernomal等
在这里插入图片描述

# 显卡数量
num_gpus = 5
# 总层数
num_layers = 28layers_per_gpu = num_layers // num

相关文章：

  • 第一章：MySQL视图基础
  • 苍穹外卖阶段性总结 （超详细版）
  • 阿里HumanAIGC 团队开源实时数字人项目ChatAnyone
  • 俄罗斯方块-简单开发版
  • using用法整理
  • 高等数学同步测试卷 同济7版 试卷部分 上 做题记录 上册期中同步测试卷 B卷
  • c++ 类和动态内存分配
  • Java基础语法
  • 本地搭建MQTT服务器并进行设备控制（ESP32+MicroPython）
  • Qt6离线安装过程
  • HarmonyOS 笔记
  • 9.QT-显示类控件|Label|显示不同格式的文本|显示图片|文本对齐|自动换行|缩进|边距|设置伙伴(C++)
  • 2025.4.20总结
  • 基于尚硅谷FreeRTOS视频笔记——11—RTOS获取源码及源码简介
  • STM32基础教程——串口收发
  • YOLOv11改进——基于注意力机制和密集小目标增强型EVA模块的设计与实现
  • QML中的JSON 处理
  • VMware虚拟机走主机代理上网
  • SAP IAS云产品简介
  • 《猎豹夕阳》
  • 下达专项资金、党政主官田间调研……全国多地力保夏粮稳收
  • 巴菲特执掌60年，伯克希尔市值如何增长5.5万倍？详解五大经典投资案例
  • 网警查处编造传播“登顶泰山最高可得3万奖金”网络谣言者
  • 朝鲜海军新型驱逐舰进行首次武器系统测试
  • 深圳一季度GDP为8950.49亿元，同比增长5.2%
  • 绵阳造AI机器狗参与警务工作，演练中辅助民警控制“嫌疑人员”