当前位置：首页 > news >正文

音视频入门基础：RTP专题（15）——FFmpeg源码中，获取RTP的视频信息的实现

news 来源：原创 2025/5/18 5:36:37

一、引言

通过FFmpeg命令可以获取到SDP文件描述的RTP流的视频压缩编码格式、色彩格式（像素格式）、分辨率、帧率信息：

ffmpeg -protocol_whitelist "file,rtp,udp" -i XXX.sdp

本文以H.264为例讲述FFmpeg到底是从哪个地方获取到这些视频信息的。

二、视频压缩编码格式

FFmpeg获取SDP文件描述的RTP流的视频压缩编码格式，是从SDP的“a=rtpmap”这一行获取的。比如SDP文件中某一行的内容为：

a=rtpmap:96 H264/90000

FFmpeg识别到上述“a=rtpmap”这个<type>后，会把后面的字符串“H.264”提取出来，检测是否存在相应的音视频压缩编码格式。如果存在，FFmpeg就会判断该SDP描述的RTP流的视频压缩编码格式为H.264。

具体可以参考：《音视频入门基础：RTP专题（5）——FFmpeg源码中，解析SDP的实现》。

a=rtpmap时，SDP的该行格式为：

a=rtpmap:<payload type> <encoding name>/<clock rate> [/<encoding parameters>]，sdp_parse_line函数中会执行下面代码块把SDP中描述的音视频压缩编码格式赋值给st->codecpar->codec_id（即AVCodecParameters的codec_id）：

else if (av_strstart(p, "rtpmap:", &p) && s->nb_streams > 0) {
            /* NOTE: rtpmap is only supported AFTER the 'm=' tag */
            get_word(buf1, sizeof(buf1), &p);
            payload_type = atoi(buf1);
            rtsp_st = rt->rtsp_streams[rt->nb_rtsp_streams - 1];
            if (rtsp_st->stream_index >= 0) {
                st = s->streams[rtsp_st->stream_index];
                sdp_parse_rtpmap(s, st, rtsp_st, payload_type, p);
            }
            s1->seen_rtpmap = 1;
            if (s1->seen_fmtp) {
                parse_fmtp(s, rt, payload_type, s1->delayed_fmtp);
            }
        }

然后在sdp_parse_line函数外部，通过avcodec_parameters_to_context函数将AVCodecParameters的codec_id赋值给AVCodecContext的codec_id：

int avcodec_parameters_to_context(AVCodecContext *codec,
                                  const AVCodecParameters *par)
{
//...
    codec->codec_id   = par->codec_id;
//...
}

然后在dump_stream_format函数中，通过avcodec_string函数中的语句：codec_name = avcodec_get_name(enc->codec_id) 拿到AVCodecContext的codec_id对应的视频压缩编码格式名称。最后再在dump_stream_format函数中将视频压缩编码格式打印出来：

void avcodec_string(char *buf, int buf_size, AVCodecContext *enc, int encode)
{
//...
    codec_name = avcodec_get_name(enc->codec_id);
//...
}

所以FFmpeg获取SDP描述的RTP流的视频压缩编码格式，是从SDP的“a=rtpmap”这一行获取的：

三、视频压缩编码格式的profile

FFmpeg获取SDP文件描述的RTP流的视频压缩编码格式的profile，是从SDP的“a=fmtp”这一行获取的。比如SDP文件中某一行的内容为：

a=fmtp:96 packetization-mode=1; sprop-parameter-sets=Z2QAH6zZgFAFuwFqAgICgAAAAwCAAAAZB4wYzQ==,aOl7LIs=; profile-level-id=64001F

sprop-parameter-sets属性的'='号之后携带以BASE64编码和逗号分隔的SPS和PPS。FFmpeg首先会把SDP中的SPS信息提取出来，进行BASE64解码（具体可以参考：《音视频入门基础：RTP专题（6）——FFmpeg源码中，解析SDP中的packetization-mode、profile-level-id和sprop-parameter-sets实现》），然后通过SPS的profile_idc属性获取视频压缩编码格式的profile（具体可以参考：《音视频入门基础：H.264专题（17）——FFmpeg源码中，获取H.264视频的profile的实现》）：

四、视频的色彩格式

如果SDP文件描述的RTP流的视频压缩编码格式为H.264，FFmpeg获取其视频的色彩格式，是通过SPS中的属性chroma_format_idc获取到的，具体可以参考：《音视频入门基础：H.264专题（13）——FFmpeg源码中通过SPS属性获取视频色彩格式的实现》：

五、视频分辨率

如果SDP文件描述的RTP流的视频压缩编码格式为H.264，FFmpeg获取其视频分辨率，是通过SPS中的属性获取的，具体可以参考：《音视频入门基础：H.264专题（12）——FFmpeg源码中通过SPS属性计算视频分辨率的实现》：

六、视频码率

由于SDP中不包含视频码率信息，所以无法通过FFmpeg直接获取到其视频码率。与之对应，由于FLV文件的Script Tag中包含视频码率信息，所以FFmpeg可以直接打印FLV文件的视频码率，具体可以参考：《音视频入门基础：FLV专题（24）——FFmpeg源码中，获取FLV文件视频信息的实现》。

七、视频帧率

如果SDP文件描述的RTP流的视频压缩编码格式为H.264，对其视频进行编解码时，FFmpeg源码内部使用的是通过SPS中的属性计算得到的视频帧率（具体可以参考：《音视频入门基础：H.264专题（15）——FFmpeg源码中通过SPS属性获取视频帧率的实现》）：

八、可能遇到的问题

比如，获取RTP流信息时报错：“Could not find codec parameters for stream 0 (Video: h264, none): unspecified size Consider increasing the value for the 'analyzeduration' (0) and 'probesize' (5000000) options”。可以参考《FFmpeg获取RTP流信息时报错：Could not find codec parameters for stream 0 (Video: h264, none)》解决。