多机多卡微调流程

多机多卡（Distributed Training）微调大模型是一项复杂但非常高效的任务。它允许你利用多台机器的计算资源来训练一个模型，从而显著缩短训练时间。

多机多卡微调核心流程

整个流程可以概括为以下几个核心步骤：

1. 环境准备与硬件配置

• 硬件：确保拥有多台（例如2-4台）服务器/工作站，每台机器配备多张GPU（通常是4卡或8卡）。机器之间需要通过高速网络互联（如InfiniBand或高速万兆以太网），低延迟和高带宽对通信效率至关重要。

• 软件与环境：

◦   操作系统：通常使用Linux（如Ubuntu）。◦   驱动：在所有机器上安装相同版本的NVIDIA GPU驱动。◦   CUDA & cuDNN：在所有机器上安装相同版本的CUDA工具包和cuDNN。◦   Python环境：使用conda或venv创建一致的Python环境，确保所有机器上的Python版本、PyTorch/TensorFlow版本、以及其他依赖库版本完全一致。这是避免莫名错误的关键。◦   通信库：安装并配置好NCCL（NVIDIA Collective Communication Library），它是多机多卡通信的基础，通常随PyTorch等框架一起安装。

2. 代码修改与分布式策略选择

这是最核心的技术部分。你需要修改你的训练代码，使其支持分布式训练。

主流方案选择：

• A. 基于数据并行（Data Parallelism）

◦   核心思想：将一份完整的模型复制到每台机器的每个GPU上，然后将训练数据分成多个小块（batch），分配到各个GPU上并行计算。每个GPU计算完梯度后，再进行梯度同步（所有GPU的梯度求平均），最后每个GPU用同步后的梯度更新自己的模型参数。这样，所有GPU上的模型始终保持一致。◦   实现方式：▪   DP (DataParallel)：PyTorch早期的单机多卡方案，不适用于多机，且效率较低（主卡负载重），不推荐。▪   DDP (DistributedDataParallel)：当前PyTorch的多机多卡首选方案。每个GPU都有一个独立的进程，通过NCCL在后台进行高效的All-Reduce通信来完成梯度同步，效率远高于DP。◦   适用场景：模型本身可以完整地放入单个GPU的显存中。这是最常见和最简单的场景。

• B. 基于模型并行（Model Parallelism）或混合并行

◦   核心思想：当模型非常大，单个GPU的显存放不下整个模型时，就需要将模型的不同层拆分到不同的GPU甚至不同的机器上。◦   实现方式：▪   流水线并行 (Pipeline Parallelism)：将模型按层切分到多个GPU上。一个batch的数据会像在流水线上一样，依次经过这些GPU进行计算。需要解决“流水线气泡”问题。▪   张量并行 (Tensor Parallelism)：将模型内部的单个大权重矩阵运算（如GEMM）拆分到多个GPU上并行计算。例如，Megatron-LM和ColossalAI主要采用此方式。▪   FSDP (Fully Sharded Data Parallel)：强烈推荐的现代方案。它结合了数据并行和模型并行。它会将模型参数、梯度、优化器状态分片到所有GPU上，从而极大地节省了每张GPU的显存占用。在计算时，需要哪个分片的参数就临时通过通信获取，计算完后再丢弃。这使得我们可以用更少的GPU来微调极大的模型（如LLaMA2-70B）。◦   适用场景：微调超大规模模型（通常 > 10B 参数）。

代码修改关键点（以PyTorch DDP为例）：

1. 初始化进程组：使用 torch.distributed.init_process_group 初始化分布式环境，指定后端（通常是nccl）、当前进程的rank、世界大小（总进程数=机器数*每台机器的GPU数）等。

2. 包装模型：使用 torch.nn.parallel.DistributedDataParallel 包装你的模型。

3. 分配数据：使用 torch.utils.data.distributed.DistributedSampler 确保每个进程/GPU只加载和数据整体的一部分，避免数据重复。

4. 调整日志与评估：通常只在rank 0进程（主进程）上打印日志、保存模型、做验证评估，避免重复输出。

5. 启动训练任务

使用PyTorch内置的 torch.distributed.launch 或更推荐的 torchrun 来启动训练脚本。

示例命令：
假设有2台机器（main_node: 192.168.1.1, node2: 192.168.1.2），每台机器有4张GPU。

在每台机器上执行（或在主节点上通过ssh触发）：

在主节点 (rank 0) 上执行

torchrun
–nnodes=2 \ # 总机器数
–nproc_per_node=4 \ # 每台机器的GPU数
–rdzv_id=456 \ # 任务唯一ID
–rdzv_backend=c10d \ # 后端
–rdzv_endpoint=192.168.1.1:1234 \ # 主节点地址和端口
–node_rank=0 \ # 当前机器的rank（主节点为0）
your_training_script.py
–your_script_args

在第二台机器 (node2, rank 1) 上执行

torchrun
–nnodes=2
–nproc_per_node=4
–rdzv_id=456
–rdzv_backend=c10d
–rdzv_endpoint=192.168.1.1:1234 \ # 注意这里依然是主节点地址
–node_rank=1 \ # 当前机器的rank（第二台为1）
your_training_script.py
–your_script_args

4. 监控与调试

• 监控：使用nvidia-smi监控GPU利用率、显存占用。使用htop监控CPU和内存。使用NCCL调试日志（export NCCL_DEBUG=INFO）来观察通信是否正常。

• 日志：确保只有主进程（rank 0）记录日志和保存TensorBoard文件，避免混乱。

• 保存与加载 checkpoint：保存 checkpoint 时，通常也只在 rank 0 进程上进行。加载时，需要先将 checkpoint 广播到所有进程，或者使用 model.module.load_state_dict() 来加载。

关键注意事项

1. 环境一致性：这是最大的坑！所有机器上的软件环境（Python, PyTorch, CUDA, 库版本）必须高度一致，否则会出现难以排查的错误。

2. 网络配置：
   ◦ 防火墙：确保所有机器之间在指定端口（如上面的1234）上可以互相通信。关闭防火墙或配置规则允许分布式训练使用的端口范围。

   ◦ SSH互信（可选但推荐）：方便在主节点上一键启动所有机器上的任务。

3. 数据准备：
   ◦ 数据集需要放在所有机器都能访问的位置（如共享文件系统NFS，或每台机器本地都有一份完整的数据副本）。

   ◦ DistributedSampler 会自动为每个进程分配不重复的数据，确保每个batch的数据只被计算一次。

4. 性能调优：
   ◦ 通信瓶颈：如果网络慢，梯度同步会成为瓶颈。确保使用高速网络（InfiniBand > 10GbE > 1GbE）。

   ◦ Batch Size：全局batch size = 每卡batch_size * GPU总数。增大全局batch size时，可能需要调整学习率（线性缩放或使用LARS/LAMB等自适应优化器）。

   ◦ 梯度累积：如果每张GPU能承受的batch size很小，可以通过梯度累积来模拟更大的全局batch size，即多次前向后累积梯度再同步和更新。

5. 容错性：
   ◦ 多机任务运行时间长，一台机器出错可能导致整个任务失败。需要思考如何做断点续训。

   ◦ 使用 torchrun 时，它具备一定的弹性功能，可以处理部分节点失败的情况。

6. 选择正确的并行策略：
   ◦ 如果显存够用，优先选择 DDP，最简单高效。

   ◦ 如果显存不足，尝试使用 FSDP，这是目前社区微调大模型的主流和推荐方式。

   ◦ 除非模型极大（如万亿参数），否则一般不需要手动配置流水线并行或张量并行。

总结

多机多卡微调的核心流程是：环境配置 -> 选择并行策略并修改代码 -> 使用 torchrun 启动任务 -> 监控和调试。

对于初学者，建议从 单机多卡（DDP） 开始，彻底掌握其原理和流程后，再扩展到多机。对于微调超大规模模型（如70B），直接学习并使用 FSDP。

工具选择上，可以优先使用PyTorch原生的DDP/FSDP，如果追求更高级的功能和优化，也可以考虑基于PyTorch的第三方框架如 Deepspeed 或 ColossalAI。

你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。

新的改变

我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客：

1. 全新的界面设计 ，将会带来全新的写作体验；
2. 在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示；
3. 增加了 图片拖拽 功能，你可以将本地的图片直接拖拽到编辑区域直接展示；
4. 全新的 KaTeX数学公式 语法；
5. 增加了支持甘特图的mermaid语法¹ 功能；
6. 增加了 多屏幕编辑 Markdown文章功能；
7. 增加了 焦点写作模式、预览模式、简洁写作模式、左右区域同步滚轮设置 等功能，功能按钮位于编辑区域与预览区域中间；
8. 增加了 检查列表 功能。

功能快捷键

撤销：Ctrl/Command + Z
重做：Ctrl/Command + Y
加粗：Ctrl/Command + B
斜体：Ctrl/Command + I
标题：Ctrl/Command + Shift + H
无序列表：Ctrl/Command + Shift + U
有序列表：Ctrl/Command + Shift + O
检查列表：Ctrl/Command + Shift + C
插入代码：Ctrl/Command + Shift + K
插入链接：Ctrl/Command + Shift + L
插入图片：Ctrl/Command + Shift + G
查找：Ctrl/Command + F
替换：Ctrl/Command + G

合理的创建标题，有助于目录的生成

直接输入1次#，并按下space后，将生成1级标题。
输入2次#，并按下space后，将生成2级标题。
以此类推，我们支持6级标题。有助于使用TOC语法后生成一个完美的目录。

如何改变文本的样式

强调文本 强调文本

加粗文本 加粗文本

标记文本

删除文本

引用文本

H₂O is是液体。

2¹⁰ 运算结果是 1024.

插入链接与图片

链接: link.

图片:

带尺寸的图片:

居中的图片:

居中并且带尺寸的图片:

当然，我们为了让用户更加便捷，我们增加了图片拖拽功能。

如何插入一段漂亮的代码片

去博客设置页面，选择一款你喜欢的代码片高亮样式，下面展示同样高亮的 代码片.

// An highlighted block
var foo = 'bar';

生成一个适合你的列表

• 项目
  • 项目
    • 项目

1. 项目1
2. 项目2
3. 项目3

• 计划任务
• 完成任务

创建一个表格

一个简单的表格是这么创建的：

项目	Value
电脑	$1600
手机	$12
导管	$1

设定内容居中、居左、居右

使用:---------:居中
使用:----------居左
使用----------:居右

第一列	第二列	第三列
第一列文本居中	第二列文本居右	第三列文本居左

SmartyPants

SmartyPants将ASCII标点字符转换为“智能”印刷标点HTML实体。例如：

TYPE	ASCII	HTML
Single backticks	'Isn't this fun?'	‘Isn’t this fun?’
Quotes	"Isn't this fun?"	“Isn’t this fun?”
Dashes	-- is en-dash, --- is em-dash	– is en-dash, — is em-dash

创建一个自定义列表

Markdown

Text-to-HTML conversion tool

Authors

John

Luke

如何创建一个注脚

一个具有注脚的文本。²

注释也是必不可少的

Markdown将文本转换为 HTML。

KaTeX数学公式

您可以使用渲染LaTeX数学表达式 KaTeX:

Gamma公式展示 $\Gamma (n)=(n-1)!\forall n\in \mathbb{N}$ 是通过欧拉积分

$$\Gamma (z)={\int }_0^{\infty }{t}^{z-1}{e}^{-t}dt.$$

你可以找到更多关于的信息 LaTeX 数学表达式here.

新的甘特图功能，丰富你的文章

• 关于 甘特图 语法，参考 这儿,

UML 图表

可以使用UML图表进行渲染。 Mermaid. 例如下面产生的一个序列图：

这将产生一个流程图。:

• 关于 Mermaid 语法，参考 这儿,

FLowchart流程图

我们依旧会支持flowchart的流程图：

• 关于 Flowchart流程图 语法，参考 这儿.

导出与导入

导出

如果你想尝试使用此编辑器, 你可以在此篇文章任意编辑。当你完成了一篇文章的写作, 在上方工具栏找到 文章导出 ，生成一个.md文件或者.html文件进行本地保存。

导入

如果你想加载一篇你写过的.md文件，在上方工具栏可以选择导入功能进行对应扩展名的文件导入，
继续你的创作。

---

1. mermaid语法说明 ↩︎

2. 注脚的解释 ↩︎