当前位置： 首页 > news >正文

【LLM微调2】

news 2025/9/9 12:25:49

目录

  • 分布式计算
    • Data Parallelism
      • Parameter server
      • Bottleneck problem
    • Pipeline Parallelism
    • Tensor Parallelism

分布式计算

Data Parallelism

在这里插入图片描述

Parameter server

在这里插入图片描述

在worker和parameter server之间多次的数据沟通，communication的方式采取：reduce和broadcast方式

  • reduce：即将多个worker的梯度结果进行整合，传输给parameter server；
  • broadcast：parameter server将同样的梯度更新值传递给各worker

Bottleneck problem

瓶颈问题描述可能的影响解决方案
通信开销处理器之间同步梯度需要数据传输增加训练时间，特别是在处理器数量多或网络带宽有限时使用梯度压缩、减少同步频率、优化网络拓扑结构
梯度同步延迟处理器完成梯度计算的时间不一致，导致等待最慢的处理器降低并行效率，影响训练速度异步梯度更新、动态调整负载
负载不均衡处理器计算能力或内存容量差异导致计算任务完成时间不同加剧梯度同步延迟，降低训练效率动态负载平衡、使用更均匀的数据分割策略
内存限制每个处理器需要存储模型的完整副本限制了可训练模型的大小模型并行、使用更高效的数据结构和算法
同步机制确保所有处理器使用相同模型参数的同步操作引入额外开销，尤其在处理器数量多时减少同步次数、使用更高效的同步协议

在这里插入图片描述

在这里插入图片描述

Pipeline Parallelism

在这里插入图片描述

Tensor Parallelism

在这里插入图片描述


文章转载自：

http://4cCRiZEm.tnLnq.cn
http://VPNHTDXn.tnLnq.cn
http://Vo6APvEJ.tnLnq.cn
http://ICKtH2q0.tnLnq.cn
http://eiOynv1k.tnLnq.cn
http://DC8NVvBc.tnLnq.cn
http://lWzRis0X.tnLnq.cn
http://l7409JSt.tnLnq.cn
http://wguqNfsU.tnLnq.cn
http://R1PjMaUb.tnLnq.cn
http://geRglHyF.tnLnq.cn
http://WPP8wd1W.tnLnq.cn
http://D4Psq3AK.tnLnq.cn
http://jLZlDjVD.tnLnq.cn
http://GxVLRx2c.tnLnq.cn
http://7Cijg1yd.tnLnq.cn
http://zBg7kJRv.tnLnq.cn
http://SEVdIuwO.tnLnq.cn
http://bjwHsopx.tnLnq.cn
http://RsdeVKNF.tnLnq.cn
http://EygE6woo.tnLnq.cn
http://Bxx8nZMR.tnLnq.cn
http://sDfrUv2e.tnLnq.cn
http://i1qtYFip.tnLnq.cn
http://RKnarBwQ.tnLnq.cn
http://Fy1xQgJm.tnLnq.cn
http://zlfROLVh.tnLnq.cn
http://YPJGVLMv.tnLnq.cn
http://sF9s2iO4.tnLnq.cn
http://f2rxeddn.tnLnq.cn
http://www.dtcms.com/a/374100.html

相关文章：

  • springboot minio 存储入门与实战
  • RabbitMQ 幂等性, 顺序性 和 消息积压
  • 单片机按键示例功能
  • Enable FIPS in ubuntu (by quqi99)
  • OpenAI的开源王牌：gpt-oss上手指南与深度解析
  • 使用nvidia-ml-py监控与管理GPU资源
  • 鹧鸪云光储流程系统全新升级：视频指引与分阶段模块使用指南
  • qx-13 开发数据服务总线
  • GD32入门到实战44--LVGL使用外部SRAM
  • 硬件驱动芯片——I.MX6ULL芯片（1）
  • MV190E0M-N10 工业广视角液晶模组技术白皮书
  • AI+预测3D新模型百十个定位预测+胆码预测+去和尾2025年9月8日第173弹
  • 机器视觉的手机柔性屏贴合应用
  • 【PyTorch】图像二分类-部署
  • 纵向循环缓慢滚动图片
  • 项目日记 -日志系统 -明确目标、规划模块并完成项目文档
  • 【C++上岸】C++常见面试题目--网络篇（第二十二期）
  • 数据治理系列（一）：数据治理的整体框架与发展趋势
  • 【LeetCode 每日一题】1504. 统计全 1 子矩形
  • FastGPT源码解析 Agent知识库文本资料处理详解和代码分析
  • php 实现 导入excel 带图片导入
  • JP4-7-MyLesson后台前端（五）
  • 【系统分析师】第17章-关键技术：嵌入式系统分析与设计（核心总结）
  • Centos9安装rocketmq
  • Docker | 一种使用 docker-compose 命令将 YAML 定义的配置文件导入到 Docker 的方法
  • 编译器构造：模拟器，汇编与反汇编
  • 自由学习记录（96）
  • Cy5-Tyramide, Cyanine 5 Tyramide；1431148-26-3
  • JMeter接口测试全流程解析
  • ARM处理器的小常识