监控28181连接到云服务器/推流分发/客户端网页端手机端拉流/实时性好极低延迟

一、前言说明

现在越来越多的场景是需要通过28181进行联网的，监控设备端基本的也都会支持28181协议，从2010年到2014年这个阶段主流还是onvif，由于无法方便的和外网连接，逐渐变成非主流，局域网用onvif没问题，广域网基本上要靠28181，近期接触到的项目也基本上都是需要通外网，用户需要在其他外网访问到监控摄像头，所以需要一个方案，提供一个云端服务器比如阿里云，然后上面有28181服务端，监控设备上面填好对应的服务地址，自动连到服务器，然后服务器上的程序负责收流后推流分发，对外提供rtsp/rtmp/http/flv/webrtc等方式拉流，至于是在电脑客户端还是网页端还是手机端，都可以正常拉流显示。

之前已经用纯qt底层udp/tcp协议，实现了28181服务端，废了很大的精力，并没有采用exosip等第三方开源库，而是从最底层一点点实现的，最关键的是把国标28181协议文档阅读几遍，先打通整体通信流程，然后逐个实现具体的协议交互。整个程序做下来，极大加深了对整个协议的理解深度，后面无论是gb28181-2020还是未来的2026啥的，都可以非常快速的加入支持，整个协议已经烂熟于胸。

除了28181服务端已经实现了，推流也是早就实现了，用的ffmpeg做推流，用zlm或者mediamtx做流媒体服务，监控系统客户端也是非常成熟的，都是Qt实现的，于是现在一整套下来，都是纯Qt开发的，目前市面上估计也就仅有的一整套方案全是Qt做的。这是要把Qt发扬光大？

二、效果图

三、相关地址

1. 国内站点：https://gitee.com/feiyangqingyun
2. 国际站点：https://github.com/feiyangqingyun
3. 个人作品：https://blog.csdn.net/feiyangqingyun/article/details/97565652
4. 文件地址：https://pan.baidu.com/s/1d7TH_GEYl5nOecuNlWJJ7g 提取码：01jf 文件名：bin_video_gb28181。

四、功能特点

1. 支持设备注册、注销、心跳、校时、注册认证、注销认证等。
2. 设备上线后可以手动获取设备状态、设备信息、配置信息、预置位信息等。
3. 设备上线后自动获取设备通道信息，包括中文通道名称。识别到通道上线离线变化，会重新获取该设备的所有通道信息。
4. 支持视频点播，可以分别点播主码流和子码流，内置rtp解包线程，解包后发给视频播放组件解码播放。
5. 每个设备每个通道支持点播多个视频，通过ssrc区分，支持共用端口和不同端口收流。
6. 支持对某个设备下面所有通道、某个通道、某个通道对应的某个流分别关闭。
7. 支持录像文件查询和回放，回放控制支持暂停播放、继续播放、倍速播放、切换播放进度。
8. 支持录像文件下载，支持倍速比如8倍速下载，可同时多线程批量下载。
9. 回放和下载同时支持IPC和NVR，比如摄像头自带的SD存储卡录像文件回放，NVR上的硬盘录像文件回放。
10. 支持云台控制，向上、向下、向左、向右、左上、右上、左下、右下方位移动，镜头放大缩小，光圈放大缩小，镜头聚焦放焦。
11. 支持预置位信息的查询、调用、添加、修改、删除等操作。
12. 自动目录订阅功能，通道上线下线都有对应的信号通知。
13. 内置定时读取通道信息机制，以保证通道信息是最新的，比如有些NVR是不断更新的通道信息。
14. 内置订阅警情和位置移动功能，订阅后各种警情事件比如运动目标检测报警、入侵检测报警、徘徊检测报警等自动上报。
15. 支持语音对讲功能，可以直接在视频窗体的悬浮条上单击语音对讲按钮，再次单击关闭对讲，对讲期间悬浮条常驻显示。
16. 支持设备布防撤防，布防后警情信息会主动上报。
17. 国标服务同时支持udp和tcp方式，可选只监听一种或者两种都监听，tcp方式自动处理粘包问题。
18. 国标拉流同时支持udp、tcp被动、tcp主动三种方式，每个通道都可以自由选择何种拉流方式。
19. 内置拉流端口池，每次拉流从中取出一个，关闭流自动回收端口号，重复利用。
20. 收流端口自动纠错，自动跳过被占用的端口，不会出现端口占用导致收流失败的情况。
21. 支持三种取流方式自动检测离线重连，检测到离线后，自动重启点播拉流整个流程。
22. 录像文件回放，上一个完成后自动切换到下一个继续回放，直到所有回放完成。支持高达8倍速回放。
23. 视频播放自适应硬解码，极低资源占用，实时性极好，带悬浮条显示视频流信息，可以直接在悬浮条单击按钮保存录像文件到本地。
24. 支持几千路国标消息交互并发，实时视频流支持64路同时显示，可以拓展更多路数。
25. 支持阿里云等云服务器，可以分别设置内网监听地址和外网访问地址，一般云服务器上是监听地址用内网，对外访问用外网地址。
26. 支持视频分发，也就是推流，视频通道打开后可以自动推流到流媒体服务器，其他需要的地方拉流即可，支持rtsp、rtmp、hls、webrtc等方式拉流。
27. 实时预览和录像回放都支持推流，推流支持叠加文字和图片水印以及各种ffmpeg支持的滤镜效果，支持多个水印同时叠加。
28. 同时支持gb28181-2011、gb28181-2016、gb28181-2022以及后续可能的所有协议版本。
29. SIP解析和交互采用纯Qt底层代码实现，udp/tcp通信交互，祖传原创代码解析，不依赖任何第三方。
30. 代码量少，gb28181交互部分共几千行代码，注释详细，接口友好，使用极其简单，提供非常详细的使用示例。
31. 支持海康、大华、宇视、华为、天地伟业等所有国标设备，包括一些没有ssrc的设备。
32. 支持所有Qt版本和编译器以及操作系统，包括但不限于win、linux、mac、android、嵌入式linux、树莓派香橙派、国产os等。

五、相关代码

#include "rtphelper.h"
#include "rtpthreadreceive.h"
#include "rtpthreadsend.h"
#include "gb28181widget.h"
#include "gb28181widgetmanage.h"
#include "gb28181server.h"
#include "urlhelper.h"bool GB28181Widget::checkSsrc = true;
GB28181Widget::GB28181Widget(QWidget *parent) : VideoWidget(parent)
{server = NULL;this->speed = 1;this->profile = 1;this->mode = TransmitMode_UdpServer;//创建视频解码线程rtpVideo = new RtpThreadReceive;rtpVideo->setProperty("running", false);connect(rtpVideo, SIGNAL(openOk(int)), this, SLOT(openOk(int)));connect(rtpVideo, SIGNAL(receiveData(QByteArray, qint64)), this, SLOT(receiveData(QByteArray, qint64)));//创建音频发送线程rtpAudio = new RtpThreadSend;connect(rtpAudio, SIGNAL(openOk(int)), this, SLOT(openOk(int)));//关联视频窗体信号槽connect(this, SIGNAL(sig_receivePlayStart(int)), this, SLOT(receivePlayStartx(int)));connect(this, SIGNAL(sig_receivePlayFinsh()), this, SLOT(receivePlayFinshx()));
}void GB28181Widget::initPara(int scaleMode, int videoMode, int videoCore, int decodeType, const QString &hardware, int readTimeout, bool call, bool download)
{GB28181WidgetManage::initPara(this, scaleMode, videoMode, videoCore, decodeType, hardware, readTimeout, call, download);
}void GB28181Widget::clearPara()
{this->ssrcVideo = "";this->ssrcAudio = "";this->deviceId = "";this->channelId = "";this->startTime = "";this->endTime = "";
}qint64 GB28181Widget::getPts() const
{return rtpVideo->getPts();
}RtpThreadReceive *GB28181Widget::getThread() const
{return this->rtpVideo;
}QString GB28181Widget::getSsrcVideo() const
{return this->ssrcVideo;
}QString GB28181Widget::getSsrcAudio() const
{return this->ssrcAudio;
}QString GB28181Widget::getDeviceId() const
{return this->deviceId;
}QString GB28181Widget::getChannelId() const
{return this->channelId;
}void GB28181Widget::setServer(GB28181Server *server)
{this->server = server;connect(server, SIGNAL(startVideo(QString, int, QString, QString, QString, int, int)), this, SLOT(startVideo(QString, int, QString, QString, QString, int, int)), Qt::UniqueConnection);connect(server, SIGNAL(startAudio(QString, int, QString, QString, QString, int, int)), this, SLOT(startAudio(QString, int, QString, QString, QString, int, int)), Qt::UniqueConnection);
}void GB28181Widget::setPara(float speed, int profile, TransmitMode mode, const QString &serverIp, const QString &pushUrl, PlayType playType)
{this->speed = speed;this->profile = profile;this->mode = mode;this->serverIp = serverIp;this->pushUrl = pushUrl;this->playType = playType;this->setSpeed(speed);
}void GB28181Widget::setTime(const QString &startTime, const QString &endTime)
{this->startTime = startTime;this->endTime = endTime;
}void GB28181Widget::openVideo(const QString &deviceId, const QString &channelId)
{this->deviceId = deviceId;this->channelId = channelId;//启动阶段先要停止if (rtpVideo->isRunning()) {rtpVideo->stop();}//从端口池中取出一个端口lastPort = RtpHelper::takePort();rtpVideo->setProperty("running", true);rtpVideo->setPara(serverIp, lastPort, serverIp, lastPort, mode);rtpVideo->start();
}bool GB28181Widget::closeVideo(const QString &deviceId, const QString &channelId, const QString &ssrc)
{if (this->deviceId != deviceId) {return false;}if (!channelId.isEmpty() && this->channelId != channelId) {return false;}if (!ssrc.isEmpty() && this->ssrcVideo != ssrc) {return false;}this->stop();return true;
}void GB28181Widget::appendAudio(const QByteArray &data)
{rtpAudio->append(data);
}void GB28181Widget::openAudio(const QString &deviceId, const QString &channelId)
{//启动阶段先要停止if (rtpAudio->isRunning()) {rtpAudio->stop();}//从端口池中取出一个端口lastPort = RtpHelper::takePort();rtpAudio->setPara(serverIp, lastPort, serverIp, lastPort, mode);rtpAudio->start();
}bool GB28181Widget::closeAudio(const QString &deviceId, const QString &channelId, const QString &ssrc)
{if (this->deviceId != deviceId) {return false;}if (!channelId.isEmpty() && this->channelId != channelId) {return false;}if (!ssrc.isEmpty() && this->ssrcAudio != ssrc) {return false;}//停止语音对讲和发流线程server->bye(deviceId, channelId, ssrcAudio);rtpAudio->stop();return true;
}void GB28181Widget::closeEvent(QCloseEvent *)
{this->stop();
}void GB28181Widget::openOk(int port)
{//收流端口打开成功才能继续点播lastPort = port;if (sender() == rtpVideo) {bool playback = (playType == PlayType_Playback);ssrcVideo = server->invite(deviceId, channelId, port, startTime, endTime, speed, profile, mode, playback);} else {server->broadcast(deviceId, channelId, port);}
}void GB28181Widget::receiveData(const QByteArray &data, qint64 ssrc)
{if (videoThread) {
#if (QT_VERSION >= QT_VERSION_CHECK(5,0,0))videoThread->appendData(data);
#elseQMetaObject::invokeMethod(videoThread, "appendData", Q_ARG(QByteArray, data));
#endif}
}void GB28181Widget::startVideo(const QString &host, int port, const QString &deviceId, const QString &channelId, const QString &ssrc, int transmitMode, int transmitPort)
{//过滤下是不是当前窗体if (this->deviceId != deviceId || this->channelId != channelId || transmitMode != mode) {return;}//有些设备并没有按照下发的ssrc作为标识/而是自己定义的/这里就需要去掉这个判断if (checkSsrc && this->ssrcVideo != ssrc) {return;}//qDebug() << TIMEMS << "startVideo" << mode << host << port << deviceId << channelId << ssrc << transmitMode << transmitPort;if (mode == TransmitMode_TcpClient) {rtpVideo->setPara(serverIp, lastPort, host, transmitPort, mode);rtpVideo->setOk(true);}//打开视频接收流数据/设置是否禁用解码/仅推流不需要解码/极大减少资源占用if (!this->getIsRunning()) {this->open(QString("stream://%1_%2").arg(deviceId).arg(channelId));this->getVideoThread()->setDisableDecode(this->property("disableDecode").toBool());}
}void GB28181Widget::startAudio(const QString &host, int port, const QString &deviceId, const QString &channelId, const QString &ssrc, int transmitMode, int transmitPort)
{//过滤下是不是当前窗体if (this->deviceId != deviceId || this->channelId != channelId) {return;}ssrcAudio = ssrc;rtpAudio->setPara(serverIp, lastPort, host, transmitPort, transmitMode, ssrc);rtpAudio->setOk(true);
}void GB28181Widget::receivePlayStartx(int)
{//设置播放速度this->setSpeed(speed);//执行保存文件或推流if (playType == PlayType_Download) {QString date = startTime.left(10);QString start = startTime.mid(11).replace(":", "-");QString end = endTime.mid(11).replace(":", "-");QString name = QString("%1_%2_%3_%4_%5.mp4").arg(deviceId).arg(channelId).arg(date).arg(start).arg(end);this->getVideoThread()->recordStart(qApp->applicationDirPath() + "/video/" + name);} else if (!pushUrl.isEmpty()) {QString url = this->getVideoPara().mediaUrl.mid(9);url = pushUrl + "/" + url + "_" + ssrcVideo;this->getVideoThread()->recordStart(url);//要转成外网地址才能正常访问QString ip = UrlHelper::getUrlIP(url);GB28181ServerPara para = server->getServerPara();url.replace(ip, para.serverHost);emit pushStart(this, url);}
}void GB28181Widget::receivePlayFinshx()
{//判断唯一标识/一个通道可能打开了多个流/只需要关闭当前窗体对应的流if (!ssrcVideo.isEmpty()) {rtpVideo->setProperty("running", false);server->bye(deviceId, channelId, ssrcVideo);rtpVideo->stop();}if (!ssrcAudio.isEmpty()) {server->bye(deviceId, channelId, ssrcAudio);rtpAudio->stop();}if (!deviceId.isEmpty() && !channelId.isEmpty()) {emit pushStop(deviceId, channelId);}this->clearPara();
}