低分辨率(1280 * 720)编码码流推送流媒体讲解
一.本章节内容:
本章节的内容主要是讲解如何通过低分辨率队列的每一帧数据,并且通过FFMPEG推流器传输到低码流分辨率流媒体服务器,本章节代码在rkmedia_assignment_manage.cpp和rkmedia_data_process.cpp里面。低分辨率编码码流推送的过程和高分辨率编码码流的推送的过程基本上一致,唯一的区别在于分辨率的设置。
二.低分辨率编码码流推流的流程
上面是低分辨率推流的过程,总共分成6个步骤。分别是初始化RKMEDIA_FFMPEG_CONFIG结构体、调用init_rkmedia_ffmpeg_context设置1280* 720推流器、创建low_video_push_thread线程、从LOW_VIDEO_QUEUE队列获取每一帧视频数据 、每一帧AVPacket计算PTS并进行时间基转换、利用FFMPEG的API推送每一帧视频数据到流媒体服务器,下面我们来具体看每一个步骤的实现过程:
2.1. 初始化RKMEDIA_FFMPEG_CONFIG结构体
我们来看看RKMEDIA_FFMPEG_CONFIG的成员变量
2.2.1. width:推流器的width,width和rv1126编码器的width一致
2.2.2. height:推流器的height,height和rv1126编码器的height一致
2.2.3. config_id:config_id,暂时没用到
2.2.4. protocol_type:流媒体的类型
2.2.5.network_addr:流媒体地址
2.2.6.video_codec:视频编码器ID
2.2.7.audio_codec:音频编码器ID
2.2.8.video_stream:自定义VIDEO的STREAM结构体配置
2.2.9.audio_stream:自定义AUDIO的STREAM结构体配置
上面是高分辨率rkmedia_ffmpeg_config的设置
2.2. 调用init_rkmedia_ffmpeg_context来初始化1280* 720推流器
init_rkmedia_ffmpeg_context是初始化rkmedia_ffmpeg_config的设置,关于这个函数的内容在之前的课程已经说了。这里不做过多的介绍。
2.3. 创建low_video_push_thread线程
Low_video_push_thread最主要作用是在LOW_VIDEO_QUEUE队列获取每一帧1280* 720的H264编码视频流,然后再把每一帧H264的码流数据先赋值到AVPacket,再调用FFMPEG的API把视频流传输到流媒体服务器。
2.4. 从LOW_VIDEO_QUEUE获取每一帧H264数据码流并且赋值到AVPacket
上面的代码是从LOW_VIDEO_QUEUE队列里面取出每一帧1280* 720的H264数据,并且赋值到AVPacket的过程。整个函数封装到deal_low_video_packet里面。在deal_high_video_packet主要是实现从LOW_VIDEO_QUEUE队列获取每一帧数据并赋值到AVPacket的具体实现过程,具体如上图:
这里面有几个比较核心的地方:video_data_packet的视频数据包赋值到AVPacket,这里要赋值两部分:一部分是AVPacket缓冲区数据的赋值,另外一个是AVPacket的长度赋值。
2.4.1. 我们先来看看AVPacket缓冲区的赋值:首先用av_buffer_realloc分配每一个缓冲区数据。要注意的是AVPacket中缓冲区的buf是不能直接赋值的,如: memcpy(pkt->data, video_data_packet->buffer, video_data_packet->frame_size)否则程序就会出现core_dump情况。我们需要先把video_data_packet_t的视频数据(video_data_packet->buffer)先拷贝到pkt->buf->data,然后再把pkt->buf->data的数据赋值到pkt->data。
2.4.2. AVPacket缓冲区长度的赋值:把video_data_packet的video_frame_size长度直接赋值给AVPacket的pkt->size。
2.4.3. AVPacket关键帧标识符的赋值:添加了这个标识符后,每个AVPacket中都进行关键帧设置,这个标识符必须要加,否则播放器则无法正常解码出视频。
2.5. 每一帧AVPacket计算PTS时间戳
根据AVPacket的数据去计算视频的PTS,若AVPacket的数据不为空。则让视频pts = ost->next_timestamp++(关于video的PTS计算,上一节课已经讲了)。
把视频PTS进行时间基的转换,调用av_packet_rescale_ts把采集的视频时间基转换成复合流的时间基。
2.6. 把每一帧视频数据传输到流媒体服务器
时间基转换完成之后,就把视频数据写入到复合流文件里面,调用的API是av_interleaved_write_frame (注意:复合流文件可以是本地文件也可以是流媒体地址)。