大模型训练框架对比
AI不会淘汰人类，但会淘汰不会用AI的人
框架对比：
| 特性/框架 | 官方GitHub | 开发厂商 | 功能全面性 | 模型支持 | 训练加速 | 推理优化 | 易用性 | 适用场景 | 优势 | 劣势 |
| LLaMA-Factory | https://github.com/hiyouga/LLaMA-Factory | 个人开发者姚伟政（Yao Wei Zheng）、张弛峰（Zhang Chi Feng）等人开发 | 非常全面，支持多种模型类型（文本、多模态）、多种训练方式（预训练、微调、人类对齐）、优化算法丰富、支持推理引擎和实验监控 | 支持多种文本LLMs和多模态模型（如LLaVA、Palicemma、VI-VI等） | 集成GaLore、BAdam等优化算法，加速效果显著 | 支持多种推理引擎（如Transformers、vLLM） | 提供Model Hub可视化界面，支持无代码训练和部署，易于上手 | 多模态模型开发、需要全流程支持（预训练、微调、推理） | 功能全面、优化算法丰富、加速效果显著、支持多模态模型 | 学习成本较高、功能繁多可能导致上手难度大 |
| Unsloth | https://github.com/unslothai/unsloth | Daniel Han, Michael Han and Unsloth team | 主要专注于模型微调阶段的加速和优化，功能相对单一 | 支持多种主流模型（如Llama、Mistral、Phi、Gemma、DeepSeek-R1等） | 速度提升显著（2-5倍），显存占用减少50-80%，支持动态4-bit量化技术 | 专注于微调阶段，推理优化功能较少 | 主要面向技术用户，需要一定的技术背景 | 需要在有限硬件资源下高效微调大模型 | 微调速度快、显存占用低、支持多种主流模型 | 功能相对单一、主要面向微调阶段 |
| MS-Swift | https://github.com/modelscope/ms-swift | ModelScope | 功能全面，支持多种模型类型、多种训练方式、数据集丰富、支持分布式训练和界面训练 | 支持450+纯文本大模型、150+多模态大模型以及All-to-All全模态模型 | 支持多种分布式训练技术（如ZeRO2、ZeRO3），加速效果显著 | 支持多种推理优化技术 | 提供界面训练功能，易于上手 | 多模态模型开发、全流程支持、团队协作开发 | 功能全面、数据集丰富、支持分布式训练、界面训练 | 功能繁多、学习曲线陡峭 |
| Megatron-LM | https://github.com/NVIDIA/Megatron-LM | NVIDIA | 专注于大规模Transformer模型的训练，功能相对单一 | 主要支持大规模Transformer模型 | 高效的训练性能和良好的扩展性 | 主要面向训练，推理优化功能较少 | 主要面向研究领域，使用门槛较高 | 大规模Transformer模型训练 | 大规模模型训练性能卓越 | 功能单一、主要面向训练 |
| DeepSpeed | https://github.com/microsoft/DeepSpeed | 微软 | 专注于分布式训练技术，功能相对单一 | 支持多种模型，但主要优化针对Transformer架构 | 非常强大的分布式训练加速能力，支持ZeRO数据并行、流水线并行等 | 支持模型从FP32转换为低精度（如BF16、QLoRA），加速推理 | 主要面向技术用户，需要一定的技术背景 | 分布式训练、大规模模型训练 | 分布式训练加速能力强、内存优化显著 | 功能单一、主要面向训练 |
参考链接：
https://mp.weixin.qq.com/s?__biz=MzkzNDI1Mzc1Nw==&mid=2247496189&idx=3&sn=fc76f0d86be9269872c3ea8de9177ca9