音视频入门基础：RTP专题（12）——RTP中的NAL Unit Type简介

一、引言

RTP封装H.264时，RTP对NALU Header的nal_unit_type附加了扩展含义。

由《音视频入门基础：H.264专题（4）——NALU Header：forbidden_zero_bit、nal_ref_idc、nal_unit_type简介》可以知道，nal_unit_type表示NALU的类型，在H.264官方文档《T-REC-H.264-202108-I!!PDF-E.pdf》第65页定义为：

二、NAL Unit Type

在RTP封包中，nal_unit_type被附加了扩展含义。根据《RFC 6184》第13页：

可以看到nal_unit_type的值为1 - 23为原H.264中规定的类型，24 - 31为RTP扩展的类型。扩展的类型包括STAP-A、STAP-B、MTAP16、MTAP24、FU-A、FU-B。

三、Decoding Order Number (DON)

根据《RFC 6184》第17页，在 interleaved packetization mode（交错分组模式）中，允许NAL单元的传输顺序与NAL单元的解码顺序不同。Decoding Order Number （解码顺序号 ，DON）是有效载荷结构或派生变量中的一个字段，表示 NAL 单元的解码顺序。传输和解码顺序的耦合由 可选的sprop-interleaving-depth 媒体类型参数控制，具体如下。当可选的sprop-interleaving-depth媒体类型参数的值等于 0（显式或默认值）时，NAL单元的传输顺序必须与 NAL 单元的解码顺序一致。当可选的sprop-interleaving-depth媒体类型参数的值大于 0时，NAL 单元的传输顺序必须与 NAL 单元的解码顺序一致。

MTAP16和MTAP24中NAL单元的顺序不需要是 NAL单元解码顺序，并且在两个连续数据包中通过去包STAP-B、MTAP和FU生成的NAL单元的顺序不需要是 NAL 单元解码顺序：

四、STAP

STAP是Single-time aggregation packet（单时聚合数据包）的意思。根据《RFC 6184》第22页，当 NAL单元聚合在一起且共享相同的NALU时间时，应使用单时聚合数据包。

（一）STAP-A

STAP-A（STAP type A）的有效载荷不包括DON，至少由一个single-time aggregation units（单时聚合单元）组成。如下图所示：

single-time aggregation units（单时聚合单元）由 16 位无符号大小信息（按网络字节顺序排列）组成，以字节为单位表示后面NAL单元的大小（不包括这两个八位位组，但包括 NAL单元的NAL 单元类型八位位组），后面是NAL单元本身，包括其 NAL 单元类型字节。单时聚合单元在 RTP 有效载荷内按字节对齐，但不一定按 32 位字边界对齐。下图显示了单时聚合单元的结构：

下图展示了一个包含 STAP-A 的 RTP 数据包示例。STAP 包含两个单时聚合单元，在图中分别标为1和2：

（二）STAP-B

STAP-B的有效载荷包括一个16位无符号解码顺序号 (DON)（按网络字节顺序排列）和至少一个single-time aggregation units（单时聚合单元）：

DON 字段按传输顺序指定 STAP-B 中第一个 NAL 单元的DON值。对于 STAP-B 中按出现顺序连续出现的每个 NAL 单元，DON 值 =（STAP-B中前一个NAL单元的DON 值 + 1）% 65536，其中“%”表示模乘运算。

下图展示了一个包含 STAP-B 的 RTP 数据包示例。STAP 包含两个单时聚合单元，在图中分别标为 1 和 2：

五、MTAP

MTAP是Multi-Time Aggregation Packet（多时聚合包）的意思。MTAP 的NA 单元有效载荷包括一个 16 位无符号解码顺序号基 (DONB)（按网络字节顺序排列）和一个或多个多时间聚合单元，如下图所示。DONB必须包含MTAP NAL单元解码顺序中第一个NAL单元的DON值。说明：NAL 单元解码顺序中的第一个 NAL 单元不一定是 MTAP 中 NAL 单元封装顺序中的第一个 NAL 单元：

《RFC 6184》定义了两种不同的多时间聚合单元。它们都由以下 NAL 单元的 16 位无符号大小信息（按网络字节顺序）、8 位无符号解码顺序号差值（DOND）和该 NAL 单元的 n 位时间戳偏移（TS 偏移）（按网络字节顺序）组成，其中 n 可以是 16 位或 24 位。不同 MTAP 类型（MTAP16 和 MTAP24）之间的选择取决于应用：时间戳偏移越大，MTAP 的灵活性越高，但开销也越大。

MTAP16的多时间聚合单元结构如下图所示：

MTAP24的多时间聚合单元结构如下图所示：

数据包内聚合单元的起始或终止位置不要求在 32 位字边界上。多时间聚合单元中包含的 NAL 单元的 DON 等于 (DONB + DOND) % 65536，其中 % 表示取模运算。本备忘录未说明 MTAP 中的 NAL 单元如何排序，但在大多数情况下，应使用 NAL 单元解码顺序。

时间戳偏移字段必须设置为等于以下公式的值：如果 NALU 时间大于或等于数据包的 RTP 时间戳，则时间戳偏移 = （NAL 单元的 NALU 时间 - 数据包的 RTP 时间戳）。
 如果 NALU 时间小于数据包的 RTP 时间戳，则时间戳偏移等于 NALU 时间 + (2^32 - 数据包的 RTP 时间戳)。

对于 MTAP 中的 “最早 ”多时间聚合单元，时间戳偏移必须为零。因此，MTAP 本身的 RTP 时间戳与最早的 NALU 时间相同。

参考说明：“最早 ”的多时间聚合单元是指如果聚合单元中包含的 NAL 单元封装在单个 NAL 单元数据包中，在 MTAP 的所有聚合单元中具有最小扩展 RTP 时间戳的单元。扩展时间戳是一种时间戳，它的位数超过 32 位，并能计算时间戳字段的缠绕，因此能确定时间戳缠绕时的最小值。这种 “最早 ”的聚合单元可能不是 MTAP 中聚合单元封装顺序中的第一个。最早 "的 NAL 单元也不必与 NAL 单元解码顺序中的第一个 NAL 单元相同。

下图展示了一个包含 MTAP16 类型的多时间聚合数据包的 RTP 数据包示例，该数据包包含两个多时间聚合单元，在图中标注为 1 和 2：

下图展示了一个包含 MTAP24 类型的多时间聚合数据包的 RTP 数据包示例，该数据包包含两个多时间聚合单元，在图中标注为 1 和 2：