高并发、低延迟全球直播系统架构
一、 核心架构图
整个系统的数据流和工作流程如下图所示，它清晰地展示了从主播推流到观众观看的完整过程：
二、 核心组件详细设计
1. 推流采集与接入层
- 主播工具：OBS Studio、FFmpeg、专业编码硬件（如Magewell卡）、或集成推流SDK的移动App。
- 推流协议：RTMP（Real-Time Messaging Protocol）。成熟、稳定、低延迟，被所有编码工具和平台广泛支持。
- 推流地址与鉴权：
- 为每个直播频道生成唯一的推流地址（
rtmp://push-center.example.com/live/streamid?sign=xxx）。 - URL鉴权：通过动态Token（如MD5(streamid+key+timestamp)）验证推流合法性，防止非法推流。
- 为每个直播频道生成唯一的推流地址（
- 全球接入点（GSLB）：
- 使用 DNS全局负载均衡（GSLB） 或 Anycast IP 技术，让主播无论身处何地，都能自动解析到最近、最健康的推流集群节点，降低推流网络延迟和抖动。
2. 中心源站处理层
- RTMP ingest集群：
- 采用 NGINX with RTMP module 或 SRS、Wowza 等专业媒体服务器集群。
- 职责：接收来自全球主播的RTMP流，并进行初步验证和管理。它不负责长时间保存，只是一个“流量中转站”。
- 高可用：采用无状态设计，通过负载均衡（如SLB）分发推流请求。单个节点故障不影响其他节点。
- 转码集群（核心计算层）：
- 技术选型：FFmpeg 是行业标准工具。将其包装成 worker 任务。
- 架构模式：
- 微服务 + 消息队列：RTMP集群收到流后，向消息队列（如Kafka/RocketMQ）发送一个“转码任务”。转码Worker集群消费任务，主动从RTMP节点拉取流进行转码。
- 容器化：使用 Kubernetes 部署转码Worker，利用其强大的编排能力实现弹性伸缩（HPA）。在直播高峰时自动扩容Pod实例，低谷时缩容以节约成本。
- 转码输出：
- 编码：通常转换为H.264视频 + AAC音频。
- 分辨率与码率：生成多档位（如：1080p@4Mbps, 720p@2Mbps, 480p@1Mbps, 360p@500kbps），适配不同网络条件的用户设备。
- 封装格式：转换为 HLS（HTTP Live Streaming），即生成一系列的
.ts视频分片文件和.m3u8索引文件。
- 源站存储：
- 转码集群生成的HLS文件（.m3u8和.ts）需要写入持久化存储。
- 选型：高性能对象存储（如AWS S3,阿里云 OSS,腾讯云 COS）。它们具备高吞吐、高可靠、低延迟的特性，非常适合存储海量小文件。
- 目录结构：
{bucket}/live/{streamid}/{resolution}/index.m3u8
3. CDN分发层
- 工作原理：
- 缓存：CDN边缘节点从源站对象存储拉取HLS文件并缓存起来。
- 响应：用户请求到达边缘节点后，节点直接返回缓存的TS分片和m3u8列表。
- 回源：只有当边缘节点没有缓存（如新直播流、缓存到期）时，才会向源站发起回源请求。
- 预缓存与预热：对于极其重要的直播（如明星演唱会），可以提前将空的m3u8文件推送到CDN边缘节点，避免第一个用户请求时回源带来的延迟。
- 多CDN厂商互备：为追求极致可用性，可以采用多CDN策略。通过DNS智能解析或客户端HTTPDNS，在不同地区调度不同的CDN厂商，并在某一家出现故障时自动切换。
4. 客户端播放层
- 协议：HLS（HTTP Live Streaming）。优点是基于HTTP，完美穿透防火墙，适配任何网络环境，并天然适应CDN分发。
- 播放器：
- 开源方案：Video.js、hls.js（用于Web），ExoPlayer（Android），IJKPlayer（iOS/Android）。
- 商业方案：腾讯云、阿里云等提供的播放器SDK，集成秒开、降级、数据监控等高级功能。
- 自适应码率（ABR）：播放器会根据当前网络带宽，自动请求不同码率的
m3u8列表，实现清晰度的无缝切换，保障播放流畅性。
三、 关键优势与特性
- 极致性能与扩展性：
- 99%的请求由CDN响应：源站只需处理转码和CDN回源请求，压力极小，轻松应对千万级并发。
- 转码集群水平扩展：K8s管理的无状态转码Worker可以随时扩容，应对转码算力需求。
- 高可用与容灾：
- 无单点故障：推流集群、转码集群、存储、CDN均为集群化部署。
- 故障转移：任何一个环节的节点故障，系统都能自动隔离并切换至健康节点。
- 全球覆盖与低延迟：
- GSLB+CDN：保证全球用户都能从最近的节点获取数据，最大程度降低播放延迟和卡顿。
- 成本效益：
- 弹性资源：按需使用转码算力，节省闲置成本。
- CDN成本优化：CDN流量成本远低于自建全球网络。
四、 补充考量点
- 安全与版权：
- 推流鉴权：防止恶意推流。
- 播放鉴权：HLS链接可通过Token认证、Referer防盗链、时间戳过期等方式保护，防止内容被盗用。
- DRM：对于付费超高清内容，可集成DRM（数字版权管理）方案。
- 监控与运维：
- 全链路监控：监控推流状态、转码任务队列、CPU负载、CDN缓存命中率、用户端卡顿率等。
- 日志分析：收集全链路日志，用于问题排查和用户体验优化。
- 低延迟优化：
- HLS的默认延迟在10-30s。可通过低延迟HLS（LL-HLS） 技术，将延迟优化到3s以内，满足互动直播需求。