大模型技术栈全景

前言

本文介绍大模型技术全景图，覆盖从底层硬件到上层应用的技术体系。按照技术栈的层级进行组织，为大模型学习提供参考。

大模型技术全景图（LLM Technology Landscape）

层级逻辑：硬件 → 系统 → 训练 → 模型算法 → 推理优化 → 部署运维 → 应用 → 支撑体系

---

一、底层硬件基础

类别	关键技术
计算硬件	GPU（H100/A100/MI300X/昇腾）、TPU（v4/v5/Trainium）、CPU辅助计算
高速互联	InfiniBand/RoCEv2（网络）、NVLink/NVSwitch（GPU直连）
存储硬件	NVMe SSD（高速缓存）、分布式存储（S3/Ceph/Lustre）、大容量RAM
新型硬件	光子计算、存算一体、量子计算（探索阶段）

---

二、分布式训练系统

类别	关键技术
并行策略	数据并行（AllReduce）、模型并行（张量/流水线）、3D并行、专家并行（MoE）
训练框架	PyTorch/TensorFlow/JAX + DeepSpeed（ZeRO优化器）/ Megatron-LM（张量并行）
计算优化	XLA/TorchInductor（编译）、混合精度（FP16/BF16）、梯度裁剪
资源管理	Kubernetes+Ray、Slurm、弹性训练、检查点容错

---

三、模型算法与核心技术

1. 模型架构

• 基础架构：Transformer（Decoder-Only/Encoder-Decoder）
• 核心创新：
  • 注意力机制：FlashAttention（IO优化）、MQA/GQA（显存优化）、RoPE/ALiBi（位置编码）
  • 激活函数：SwiGLU、GeGLU
  • 高效结构：MoE（Switch Transformer/DeepSeek-MoE）、低秩适配

2. 预训练技术

• 目标函数：自回归/掩码语言建模、多模态对比学习
• 数据工程：海量数据清洗/去毒/合成生成、领域平衡
• 训练技巧：AdamW/Sophia优化器、余弦学习率调度、z-loss稳定训练

3. 微调与对齐

• PEFT技术：LoRA/QLoRA（4bit量化微调）、Adapter/Prompt Tuning
• 对齐技术：
  • SFT（监督微调）
  • RLHF（人类反馈强化学习）
  • 新一代对齐：DPO（直接偏好优化）、KTO（行为经济学优化）

4. 推理与优化技术（关键增强）

方向	技术细节
模型压缩	• 量化：GPTQ/AWQ（4bit）、FP8（硬件友好）、SmoothQuant（激活量化） • 剪枝：结构化/非结构化剪枝 • 蒸馏：任务蒸馏 → 小模型部署
推理加速	• KV Cache优化：PagedAttention（vLLM）、Continuous Batching（连续批处理） • 解码策略：Speculative Decoding（推测解码） • 算子优化：FlashAttention-2/CUDNN定制内核
推理引擎	• 专用引擎：vLLM（高吞吐）、TensorRT-LLM（NVIDIA优化）、TGI（Hugging Face） • 通用引擎：ONNX Runtime、OpenVINO（边缘场景）

---

四、模型部署与运维体系（独立章节）

层级	关键技术
部署架构	• 云原生：K8s + Istio + Knative（自动扩缩容） • 边缘计算：TensorRT + OpenVINO • Serverless：AWS Lambda/Cloud Run
服务化组件	• API网关（REST/gRPC） • 流式响应（SSE/WebSocket） • 动态批处理（Dynamic Batching）
监控治理	• 指标：QPS/延迟/错误率/GPU利用率（Prometheus+Grafana） • 安全：输入过滤/对抗防御 • 成本优化：Spot实例调度