提升大语言模型性能的关键技术清单（from 网络）

提升大语言模型性能的关键技术清单：

**• LoRA（低秩适配）：**高效微调，节省计算资源
**• 量化（Quantization）：**降低模型精度需求，显著减小模型体积
• **剪枝（Pruning）：**剔除冗余参数，提升推理速度
**• 蒸馏（Distillation）：**通过小模型学习大模型知识，实现轻量化
**• 权重共享（Weight Sharing）：**减少参数数量，降低存储需求
**• Flash Attention：**优化注意力计算，提升内存利用与速度
**• KV-Cache 压缩：**缩减键值缓存，降低推理延迟
• **稀疏专家模型（Sparse MoE）：**动态激活部分专家节点，极大提升效率
**• 梯度检查点（Gradient Checkpointing）：**节省训练显存，支持更大模型
**• 混合精度训练（Mixed Precision Training）：**兼顾速度与精度，降低硬件要求
**• 参数高效微调（Parameter-Efficient Fine-Tuning）：**减少微调参数量，快速适配任务
**• 分片训练（Sharded Training）：**分布式分片，突破单机内存瓶颈
**• CPU 卸载（CPU Offloading）：**利用 CPU 辅助减轻 GPU 负担
**• 检索增强压缩（Retrieval-Augmented Compression）：**结合外部知识库优化模型表现
**• 推测解码（Speculative Decoding）：**提前预测，缩短生成时间

这些技术在实际应用中往往组合使用，单靠算法改进难以突破硬件瓶颈，需结合**硬件优化（如 DeepEP、DualPipe）**及性能指标（roofline 模型）进行系统设计，才能实现真正的“快”与“廉”。

深入掌握并灵活应用，才能在模型推理成本与速度间找到最佳平衡，推动大模型高效普及。