webrtc代码走读（九）-QOS-SVC（可分级视频编码）

1、SVC核心概念

SVC（可适性/分级视频编码）是H.264/AVC编码的扩展，通过时间、空间、质量三个维度的可伸缩性，让视频流能自适应不同带宽、终端能力的网络环境。其核心优势是“一次编码，多端适配”，无需为不同终端单独生成视频流，大幅降低编码端开销。

2、SVC三大可伸缩性特性

2.1 时间可适性

（Temporal Scalability）：灵活调整帧率

核心原理

通过“分层预测编码”将视频帧分为不同时间层（如T0、T1、T2、T3），高层帧依赖低层帧进行运动补偿预测。解码时可通过“丢弃高层帧”降低帧率，且不影响低层帧的正常解码，实现帧率自适应。

时间分层预测结构

图示以时间轴（0-17编码顺序）展示四层时间结构（T0-T3），箭头表示帧间预测依赖关系。T0为基础层（关键帧，如I帧），T1依赖T0，T2依赖T1，T3依赖T2；删除高层帧（如T2、T3）后，剩余帧仍可正常解码。
把视频比作“多层积木”：

• T0层是基础层（如每8帧1个T0，对应7.5fps），必须保留，否则无法解码；
• T1层是第一层（叠加T0后，帧率提升到15fps），依赖T0；
• T2层是第二层（叠加后帧率30fps），依赖T1；
• T3层是第三层（叠加后帧率60fps），依赖T2。
  若网络带宽不足，可直接“拆走”T2、T3层，只剩T0+T1层，视频仍能以15fps流畅播放，不会卡顿或花屏。

时间层垂直分层展示（Temporal Layer L0-L2）

垂直方向分离三层（L0、L1、L2），每层帧按时间轴（0-3）排列，高层依赖低层。如30fps的视频，删除L2层后剩15fps，删除L1层后剩7.5fps。

• L0层是“基础层”（7.5fps），最小且必须；
• L1层是“中层（叠加后15fps），依赖L0；
• L2层是“高层”（叠加后30fps），依赖L1。
  网络拥堵时，可抽帧，（帧率降低）但不会断流（视频不中断）。

2.2 空间可适性

（Spatial Scalability）：灵活调整分辨率

核心原理

编码时生成“多分辨率层级”，基础层（L0）为最低分辨率（如QVGA 320×240），高层（L1、L2）为更高分辨率（如VGA 640×480、HD 1280×720），且高层帧通过“层间预测”复用低层帧的纹理、运动信息，避免重复编码。解码时可丢弃高层帧，仅解码低层帧获得低分辨率视频。

空间分层结构

图示展示三层空间结构，L0为基础分辨率（小尺寸），L1、L2为更高分辨率（大尺寸），箭头表示高层对低层的“层间预测”依赖（如L1复用L0的运动向量）。删除L2层后，可解码L0+L1获得中等分辨率；仅保留L0则获得最低分辨率。
把视频分辨率比作“照片缩放”：

• L0层是“小照片”（320×240），存储核心画面信息；
• L1层是“中照片”（640×480），基于L0的画面“放大并补充细节”，无需重新拍摄；
• L2层是“大照片”（1280×720），基于L1的画面进一步“放大补充细节”。
  手机端（小屏幕）可只加载L0层（省流量），电脑端（大屏幕）加载L0+L1+L2层（高清），无需为手机、电脑分别生成不同分辨率的视频流。

2.3 质量可适性

（SNR/Quality Scalability）：灵活调整画质

核心原理

通过“分层量化”将视频质量分为基础层（低质量，如低码率、高压缩比）和增强层（高质量，如高码率、低压缩比）。基础层保证画面“可识别”，增强层通过补充细节提升画质；解码时可丢弃增强层，以低画质换取低带宽消耗。

质量分层控制

(a)仅基础层控制（固定低画质）；(b)仅增强层控制（固定高画质）；©双循环控制（动态调整基础层+增强层）；(d)关键帧质量分层（关键帧用增强层保证画质，非关键帧用基础层）。
把视频画质比作“画画”：

• 基础层是“线稿画”（低质量，仅勾勒轮廓，码率低）；
• 增强层是“上色+细节补充”（高质量，添加色彩、纹理，码率高）。
  网络带宽充足时，加载“线稿+上色”（高清）；带宽不足时，只加载“线稿”（低清但能看清内容），避免因带宽不够导致视频卡顿或中断。

2.4 联合可适性

（Combined Scalability）：多维度组合

核心原理

同时结合时间、空间可伸缩性，例如“时间分层（调整帧率）+ 空间分层（调整分辨率）”，实现更灵活的适配。

联合可适性

（Temporal + Spatial）时空联合分层

时间轴（0-3）上，每帧分为“基础空间层（B0/B1/B2，低分辨率）”和“增强空间层（S0/S1/S2，高分辨率）”。如30fps的HD（720p）视频，可组合为“15fps的1/4HD（360p）”“7.5fps的HD”等多种形态。

把视频比作“多功能变形金刚”：

• 时间维度是“变形速度”（30fps/15fps/7.5fps）；
• 空间维度是“变形大小”（HD/1/4HD）。
  网络差的手机端可选择“7.5fps+1/4HD”（省流量），网络好的电脑端选择“30fps+HD”（高清），所有形态均来自同一次编码。

3、SVC典型应用场景

3.1 监控视频场景

• 传统方案痛点：需同时生成“高清存储流（如720p 30fps）”和“低清预览流（如CIF 7fps）”，编码端开销大；
• SVC方案优势：一次编码生成“空间分层流”（L0：CIF、L1：D1、L2：720p），NVR（网络录像机）存储完整流，手机预览仅解码L0层，电脑回放解码L2层，编码效率提升50%以上。

3.2 多人会议场景

• 传统MCU痛点：需对每个终端的视频流进行“二次编码”（如将A的1080p流转成B的720p流），服务器压力大；
• SVC方案优势：终端编码生成“时空联合分层流”，会议服务器仅需“路由转发”（丢弃不需要的高层帧），无需二次编码，支持更多终端接入。

3.3 抗网络丢包场景

• 传统方案痛点：GOP（图像组）内一帧丢失，可能导致整个GOP无法解码，视频花屏；
• SVC方案优势：仅用FEC+NACK保护时间基础层（T0），若T1/T2层丢失，直接丢弃并降帧率（如从30fps降到15fps），保证视频流畅性，且兼容传统解码器（后向兼容）。

4、SVC代码实现

4.1 编码实现（基于OpenH264）

WebRTC 默认使用 VP8 和 VP9 视频编解码器，但为了提高兼容性，尤其是在 Windows 平台上，WebRTC 可以集成 H.264 编解码器，而 OpenH264 就是 WebRTC 集成 H.264 编解码器时常用的第三方库。如在 WebRTC 源码的video_coding模块中，编码类会导入 OpenH264 库的相关文件来进行编码，在src/modules/video_coding模块中的BUILD.gn文件中，webrtc_h264库的相关配置中也有对 OpenH264 的依赖。

OpenH264开源代码已支持SVC编码，核心通过TagEncParamExt结构体配置分层参数，以下是关键参数定义及注释：

/*** @brief SVC编码参数扩展结构体（OpenH264 encoder_data_tables.cpp）* @details 用于配置时间层、空间层、质量层的数量及编码策略，实现SVC的三大可伸缩性*/
typedef struct TagEncParamExt {EUsageType        iUsageType;          ///< 编码用途（如监控、会议、直播），同基础参数结构体int               iPicWidth;           ///< 视频宽度（基础层分辨率），同基础参数结构体int               iPicHeight;          ///< 视频高度（基础层分辨率），同基础参数结构体int               iTargetBitrate;      ///< 目标码率（总码率，分层后各层码率之和），同基础参数结构体RC_MODES          iRCMode;             ///< 码率控制模式（如CBR恒定码率、VBR可变码率），同基础参数结构体float             fMaxFrameRate;       ///< 最大帧率（基础层+所有增强层的总帧率），同基础参数结构体int               iTemporalLayerNum;   ///< 时间层数量，最大值为4（如T0-T3，对应4个帧率等级）int               iSpatialLayerNum;    ///< 空间层数量，1<=值<=MAX_SPATIAL_LAYER_NUM（MAX=4，如L0-L3）m_SSpatialLayerConfig sSpatialLayers[MAX_SPATIAL_LAYER_NUM]; ///< 空间层配置数组（每个空间层的分辨率、码率等）ECOMPLEXITY_MODE  iComplexityMode;     ///< 编码复杂度模式（如低复杂度、中复杂度、高复杂度）unsigned int      uiIntraPeriod;       ///< I帧周期（基础层关键帧间隔，如每30帧1个I帧）int               iNumRefFrame;        ///< 参考帧数量（用于运动补偿，影响编码质量和复杂度）EParameterSetStrategy eSpsPpsIdStrategy; ///< SPS/PPS ID策略：0=固定ID，1=追加ID，6=映射+追加（适配多分层）bool              bPrefixNalAddingCtrl;///< 是否启用Prefix NAL：false=不启用，true=启用（用于SVC层标识）bool              bEnableSSEI;         ///< 是否启用SSEI（补充增强信息）：false=禁用，true=启用（计划移除该接口）bool              bSimulcastAVC;       ///< 多空间层编码模式：false=用SVC语法（节省码率），true=用Simulcast AVC语法（兼容传统解码器）int               iPaddingFlag;        ///< 填充标志：0=禁用填充，1=启用填充（适配不同分辨率的终端显示）int               iEntropyCodingModeFlag; ///< 熵编码模式：0=CAVLC（低复杂度，适合低性能终端），1=CABAC（高性能，压缩比高）
} EncParamExt;

关键参数配置示例（以监控场景为例）

/*** @brief 监控场景SVC编码参数配置示例* @return 配置好的SVC编码参数结构体*/
EncParamExt CreateSVCMonitorParam() {EncParamExt param = {0};// 1. 基础编码参数param.iUsageType = CAMERA_VIDEO_REAL_TIME; // 监控实时视频param.iPicWidth = 1280;                    // 基础层宽度（720p）param.iPicHeight = 720;                    // 基础层高度（720p）param.iTargetBitrate = 2000000;            // 总目标码率2Mbpsparam.iRCMode = RC_QUALITY_MODE;           // 质量优先的码率控制param.fMaxFrameRate = 30.0f;               // 最大帧率30fps// 2. SVC分层配置param.iTemporalLayerNum = 2;               // 2个时间层（T0：7.5fps，T1：30fps）param.iSpatialLayerNum = 2;                // 2个空间层（L0：360p，L1：720p）// 空间层0配置（360p，预览用）param.sSpatialLayers[0].iVideoWidth = 640; param.sSpatialLayers[0].iVideoHeight = 360;param.sSpatialLayers[0].fFrameRate = 30.0f;param.sSpatialLayers[0].iTargetBitrate = 500000; // 500kbps（基础层码率）// 空间层1配置（720p，存储用）param.sSpatialLayers[1].iVideoWidth = 1280;param.sSpatialLayers[1].iVideoHeight = 720;param.sSpatialLayers[1].fFrameRate = 30.0f;param.sSpatialLayers[1].iTargetBitrate = 1500000; // 1.5Mbps（增强层码率）// 3. 其他配置param.iComplexityMode = COMPLEXITY_MEDIUM; // 中等复杂度（平衡编码速度和质量）param.uiIntraPeriod = 30;                  // 每30帧1个I帧（基础层关键帧间隔）param.iNumRefFrame = 2;                    // 2个参考帧（运动补偿精度）param.eSpsPpsIdStrategy = 1;               // 追加SPS/PPS ID（适配多分层）param.bSimulcastAVC = false;               // 用SVC语法（节省码率）param.iEntropyCodingModeFlag = 1;          // CABAC熵编码（高压缩比，适合存储）return param;
}

4.2 解码实现（基于Open SVC Decoder）

目前OpenH264不支持SVC解码，需使用Open SVC Decoder开源库，核心逻辑是“解析SVC分层信息→按需解码指定层”，以下是简化的解码入口函数及注释：

/*** @brief Open SVC Decoder 解码入口函数（简化版）* @param svc_bitstream SVC编码码流（含分层信息）* @param target_layer 目标解码层（如空间层L0、时间层T0）* @param decoded_frame 输出解码后的视频帧* @return 0=解码成功，非0=解码失败*/
int SVCDecode(const unsigned char* svc_bitstream, int bitstream_len, const SVCLayerConfig* target_layer, unsigned char* decoded_frame) {// 1. 初始化SVC解码器SVCDecoderHandle decoder = SVCDecoder_Create();if (decoder == NULL) {printf("SVC解码器初始化失败\n");return -1;}// 2. 配置目标解码层（如仅解码空间L0+时间T0）SVCDecoder_SetTargetLayer(decoder, target_layer);// 3. 输入SVC码流，解析分层信息int parse_ret = SVCDecoder_ParseBitstream(decoder, svc_bitstream, bitstream_len);if (parse_ret != 0) {printf("SVC码流解析失败，错误码：%d\n", parse_ret);SVCDecoder_Destroy(decoder);return parse_ret;}// 4. 解码指定层，输出解码帧int decode_ret = SVCDecoder_Decode(decoder, decoded_frame);if (decode_ret != 0) {printf("SVC解码失败，错误码：%d\n", decode_ret);SVCDecoder_Destroy(decoder);return decode_ret;}// 5. 释放解码器资源SVCDecoder_Destroy(decoder);return 0;
}// 解码配置示例：监控预览（仅解码空间L0+时间T0）
SVCLayerConfig target_layer = {.spatial_layer = 0,  // 空间层0（360p）.temporal_layer = 0, // 时间层0（7.5fps）.quality_layer = 0   // 质量层0（基础画质）
};
unsigned char decoded_frame[640*360*3]; // 360p帧缓存（RGB格式）
// 调用解码函数
int ret = SVCDecode(svc_bitstream, bitstream_len, &target_layer, decoded_frame);

4.3 VPX编码对SVC的实现（WebRTC场景）

WebRTC中的VP8/VP9编码已集成SVC的时间分层（TL），并与NACK、FEC结合作为QOS方案，核心逻辑是“用FEC+NACK保护时间基础层，高层帧丢失则降帧率”，以下是WebRTC中VP8时间分层的关键代码片段：

/*** @brief WebRTC VP8时间分层配置（简化版，来自vp8_encoder.cc）* @param temporal_layers 时间层数（如2层：T0、T1）* @param frame_rate 目标帧率（如30fps）* @return VP8编码参数*/
webrtc::Vp8EncoderParams ConfigureVP8TemporalLayers(int temporal_layers, float frame_rate) {webrtc::Vp8EncoderParams params;// 1. 启用时间分层params.temporal_layers = temporal_layers;// 2. 配置每层帧率（如2层：T0=15fps，T1=30fps）if (temporal_layers == 2) {params.temporal_layer_frame_rates.push_back(frame_rate / 2); // T0层帧率params.temporal_layer_frame_rates.push_back(frame_rate);     // T1层帧率}// 3. 配置基础层保护策略（用FEC+NACK保护T0层）params.protect_base_layer = true; // 启用基础层保护params.fec_rate = 0.1f;           // FEC冗余度10%（仅用于T0层）params.nack_enabled = true;       // 启用NACK（仅重传T0层丢失帧）return params;
}/*** @brief VP8编码帧分层逻辑（简化版，来自vp8_encoder.cc）* @param frame 待编码视频帧* @param temporal_layer 当前帧的时间层（0=T0，1=T1）* @return 编码后的VP8码流*/
std::unique_ptr<webrtc::EncodedImage> Vp8EncodeFrame(const webrtc::VideoFrame& frame, int temporal_layer) {// 1. 初始化VP8编码器static auto encoder = webrtc::VP8Encoder::Create();// 2. 设置当前帧的时间层（T0层为关键帧，T1层为P帧）webrtc::Vp8CodecOptions options;options.temporal_layer = temporal_layer;options.is_keyframe = (temporal_layer == 0); // T0层为关键帧// 3. 编码帧（T0层用高码率保证质量，T1层用低码率补充帧率）webrtc::EncodedImage encoded_image;encoder->Encode(frame, &options, &encoded_image);// 4. 标记分层信息（用于WebRTC的NACK/FEC处理）encoded_image.SetTemporalLayer(temporal_layer);return std::make_unique<webrtc::EncodedImage>(encoded_image);
}

5、SVC相关协议标准

协议/文档	作用说明
《Overview_SVC_IEEE07》	SVC算法实现原理的基础文档，详细描述三大可伸缩性的技术细节
《T-REC-H.264-201704-I》	H.264标准附录G，定义SVC与H.264编码的结合方式（如分层语法、预测机制）
RFC 61	定义SVC码流的RTP打包格式和SDP协商参数（如如何在SDP中标识分层信息）

SVC核心价值：一次编码支持多端适配，降低编码端开销，提升网络自适应能力；

成熟度：OpenH264支持SVC编码，Open SVC Decoder支持解码，WebRTC的VP8/VP9已集成时间分层；

应用建议：监控、会议场景优先用“空间+时间分层”，抗丢包场景优先用“时间分层+FEC+NACK”。