国产高云FPGA实现视频采集转UDP以太网输出,FPGA网络摄像头方案,提供2套Gowin工程源码和技术支持
目录
- 1、前言
- 工程概述
- 免责声明
- 2、相关方案推荐
- 我已有的所有工程源码总目录----方便你快速找到自己喜欢的项目
- 国产高云FPGA基础教程
- 国产高云FPGA相关方案推荐
- 我这里已有的以太网方案
- 3、设计思路框架
- 工程设计原理框图
- 输入Sensor之-->OV7725摄像头
- 输入Sensor之-->OV5640摄像头
- QT上位机与FPGA数据交互逻辑
- 指令控制模块
- 视频组包模块
- UDP协议栈
- RGMII互转GMII模块
- PHY芯片
- QT上位机
- IP地址、端口号的修改
- 工程源码架构
- 4、Gowin工程源码1详解:OV7725输入版本
- 5、Gowin工程源码2详解:OV5640输入版本
- 6、上板调试验证并演示
- ARP绑定
- QT上位机接收显示
- 国产高云FPGA实现UDP网络通信效果演示
- 7、工程源码
国产高云FPGA实现视频采集转UDP以太网输出,FPGA网络摄像头方案,提供2套Gowin工程源码和技术支持
1、前言
国产FPGA现状:
“苟利国家生死以,岂因祸福避趋之!”大洋彼岸的我优秀地下档员,敏锐地洞察到祖国的短板在于先进制程半导体的制造领域,于是本着为中华民族伟大复兴的中国梦贡献绵薄之力的初心,懂先生站在高略高度和长远角度谋划,宁愿背当代一世之骂名也要为祖国千秋万世谋,2018年7月,懂先生正式打响毛衣战,随后又使出恰勃纸战术,旨在为祖国先进制程半导体领域做出自主可控的战略推动;2019年初我刚出道时,还是Xilinx遥遥领先的时代(现在貌似也是),那时的国产FPGA还处于黑铁段位;然而才短短7年,如今的国产FPGA属于百家争鸣、百花齐放、八仙过海、神仙打架、方兴未艾、得陇望蜀、友商都是XX的喜极而泣之局面,此情此景,不得不吟唱老人家的诗句:魏武挥鞭,东临碣石有遗篇,萧瑟秋风今又是,换了人间。。。
目前对于国产FPGA优势有以下几点:
1:性价比高,与同级别国外大厂芯片相比,价格相差几倍甚至十几倍;
2:自主可控,国产FPGA拥有完整自主知识产权的产业链,从芯片到相关EDA工具;
3:响应迅速,FAE技术支持比较到位,及时解决开发过程中遇到的问题,毕竟中文数据手册;
4:采购方便,产业链自主可控,采购便捷;
FPGA实现UDP网络通信现状:
FPGA实现UDP网络通信主要有两种方案,其一是使用PHY芯片实现物理层功能,比如常见的RTL8211、B50610等芯片,UDP协议栈部分很简单,可使用verilog代码直接实现;其二是使用Xilinx系列的IP核实现物理层功能,比如常见的1G/2.5G Ethernet PCS/PMA or SGMII、AXI 1G/2.5G Ethernet Subsystem、10G/25G Ethernet Subsystem、10G Ethernet Subsystem等,UDP协议栈部分很简单,可使用verilog代码直接实现;本设计使用PHY芯片方案实现物理层功能;
工程概述
本文使用国产高云FPGA实现视频采集转UDP以太网输出,即使用国产高云FPGA实现网络摄像头方案;
视频输入源包括OV7725和OV5640摄像头;FPGA首先对摄像头进行i2c初始化配置,然后采集摄像头视频;然后采集视频送入视频组包模块,将是每行视频封装帧头和行号;然后组包的视频送入UDP协议栈实现以太网帧组包,即加上各种头部信息和校验;然后数据进入纯verilog实现的RGMII互转GMII模块,实现单沿采集的GMII数据到双沿采集的RGMII数据转换,需要使用高云的ODDR源语;然后数据进入板载PHY芯片实现以太网物理层,输出差分信号,并通过网线发送到电脑端;电脑端操作系统的Socket实现接收数据以太网解包,然后数据给QT上位机显示;针对市场主流需求,本设计提供2套Gowin工程源码,具体如下:
现对上述2套工程源码做如下解释,方便读者理解:
工程源码1
开发板FPGA型号为国产高云GW5A-LV25UG324ES;视频输入源为OV7725摄像头;FPGA首先对摄像头进行i2c初始化配置,分辨率配置为640x480@60Hz,然后采集摄像头视频;然后采集视频送入视频组包模块,将是每行视频封装帧头和行号;然后组包的视频送入UDP协议栈实现以太网帧组包,即加上各种头部信息和校验;然后数据进入纯verilog实现的RGMII互转GMII模块,实现单沿采集的GMII数据到双沿采集的RGMII数据转换,需要使用高云的ODDR源语;然后数据进入板载的RTL8211F芯片实现以太网物理层,输出差分信号,并通过网线发送到电脑端,输出分辨率为640x480@60Hz,RTL8211F工作于延时模式,RGMII接口;电脑端操作系统的Socket实现接收数据以太网解包,然后数据给QT上位机显示;该工程适用于国产高云FPGA实现网络摄像头应用;
工程源码2
开发板FPGA型号为国产高云GW5A-LV25UG324ES;视频输入源为OV5640摄像头;FPGA首先对摄像头进行i2c初始化配置,分辨率配置为640x480@60Hz,然后采集摄像头视频;然后采集视频送入视频组包模块,将是每行视频封装帧头和行号;然后组包的视频送入UDP协议栈实现以太网帧组包,即加上各种头部信息和校验;然后数据进入纯verilog实现的RGMII互转GMII模块,实现单沿采集的GMII数据到双沿采集的RGMII数据转换,需要使用高云的ODDR源语;然后数据进入板载的RTL8211F芯片实现以太网物理层,输出差分信号,并通过网线发送到电脑端,输出分辨率为640x480@60Hz,RTL8211F工作于延时模式,RGMII接口;电脑端操作系统的Socket实现接收数据以太网解包,然后数据给QT上位机显示;该工程适用于国产高云FPGA实现网络摄像头应用;
本博客描述了国产高云FPGA实现视频采集转UDP以太网输出的设计方案,工程代码可综合编译上板调试,可直接项目移植,适用于在校学生、研究生项目开发,也适用于在职工程师做学习提升,可应用于医疗、军工等行业的高速接口或图像处理领域;
提供完整的、跑通的工程源码和技术支持;
工程源码和技术支持的获取方式放在了文章末尾,请耐心看到最后;
免责声明
本工程及其源码即有自己写的一部分,也有网络公开渠道获取的一部分(包括CSDN、Xilinx官网、Altera官网等等),若大佬们觉得有所冒犯,请私信批评教育;基于此,本工程及其源码仅限于读者或粉丝个人学习和研究,禁止用于商业用途,若由于读者或粉丝自身原因用于商业用途所导致的法律问题,与本博客及博主无关,请谨慎使用。。。
2、相关方案推荐
我已有的所有工程源码总目录----方便你快速找到自己喜欢的项目
其实一直有朋友反馈,说我的博客文章太多了,乱花渐欲迷人,自己看得一头雾水,不方便快速定位找到自己想要的项目,所以本博文置顶,列出我目前已有的所有项目,并给出总目录,每个项目的文章链接,当然,本博文实时更新。。。以下是博客地址:
点击直接前往
国产高云FPGA基础教程
高云FPGA开发软件Gowin的下载、安装、Licence共享,工程搭建、代码添加、综合、编译、下载、各种IP的调用、配置、使用等基础操作,是做高云FPGA开发的基本功,当然,如果你已是有经验的工程师,则可以省略这一步,为此,我专门开设了专栏,详细讲述国产高云FPGA基础教程,甚至可以说是保姆级的教程,专栏地址如下:
点击直接前往
国产高云FPGA相关方案推荐
鉴于国产高云FPGA的优异表现和市场需求,我专门开设了一个人国产高云FPGA专栏,里面收录了基于国产高云FPGA的图像处理、UDP网络通信、GT高速接口、PCIE等博客,感兴趣的可以去看看,博客地址:点击直接前往
我这里已有的以太网方案
目前我这里有大量UDP协议的工程源码,包括UDP数据回环,视频传输,AD采集传输等,也有TCP协议的工程,还有RDMA的NIC 10G 25G 100G网卡工程源码,对网络通信有需求的兄弟可以去看看:
直接点击前往
其中千兆TCP协议的工程博客如下:
直接点击前往
3、设计思路框架
工程设计原理框图
工程设计原理框图如下:
输入Sensor之–>OV7725摄像头
输入Sensor是本工程的输入设备,其一为OV7725摄像头,此外本博主在工程中还设计了动态彩条模块,彩条由FPGA内部逻辑产生,且是动态移动的,完全可模拟Sensor,输入源选择Sensor还是彩条,通过Sensor模块的顶层参数配置,默认选择Sensor输入;但在本FPGA实现网络摄像头方案中,动态彩条不可用;Sensor模块如下:
SENSOR_TYPE=0;则输出OV7725摄像头采集的视频;
SENSOR_TYPE=1;则输出动态彩条的视频;
但在本FPGA实现网络摄像头方案中,动态彩条不可用;
OV7725摄像头需要i2c初始化配置,本设计配置为640x480@60Hz分辨率,本设计提供纯verilog代码实现的i2c模块实现配置功能;此外,OV7725摄像头还需要图像采集模块实现两个时钟输出一个RGB565的视频转换为一个时钟输出一个RGB888视频,本设计提供纯verilog代码实现的图像采集模块实现配置功能;动态彩条则由FPGA内部逻辑实现,由纯verilog代码编写;将OV7725摄像头配置采集和动态彩条进行代码封装,形成helai_OVsensor.v的顶层模块,整个模块代码架构如下:
输入Sensor之–>OV5640摄像头
输入Sensor是本工程的输入设备,其一为OV5640摄像头,此外本博主在工程中还设计了动态彩条模块,彩条由FPGA内部逻辑产生,且是动态移动的,完全可模拟Sensor,输入源选择Sensor还是彩条,通过Sensor模块的顶层参数配置,默认选择Sensor输入;但在本FPGA实现网络摄像头方案中,动态彩条不可用;Sensor模块如下:
SENSOR_TYPE=0;则输出OV5640摄像头采集的视频;
SENSOR_TYPE=1;则输出动态彩条的视频;
但在本FPGA实现网络摄像头方案中,动态彩条不可用;
OV5640摄像头需要i2c初始化配置,本设计配置为1280x720@30Hz分辨率,本设计提供纯verilog代码实现的i2c模块实现配置功能;此外,OV5640摄像头还需要图像采集模块实现两个时钟输出一个RGB565的视频转换为一个时钟输出一个RGB888视频,本设计提供纯verilog代码实现的图像采集模块实现配置功能;动态彩条则由FPGA内部逻辑实现,由纯verilog代码编写;将OV5640摄像头配置采集和动态彩条进行代码封装,形成helai_OVsensor.v的顶层模块,整个模块代码架构如下:
QT上位机与FPGA数据交互逻辑
QT上位机与FPGA数据交互逻辑框图如下:
FPGA与QT上位机通信的具体协议为:
QT上位机首先向FPGA发送1个字节的数据包;
FPGA如果收到的是0x01,则表示通知FPGA可以开始发送视频数据给QT上位机了;
FPGA如果收到的是0x00,则表示通知FPGA立即停止发送视频数据给QT上位机;
FPGA收到单包数据0x01后,首先发送4个字节的视频分辨率信息给QT上位机;
高两个字节表示视频宽度;
低两个字节表示视频高度;
FPGA随后向QT上位机发送4字节的帧头,帧头被QT端写死为0xf05aa50f;
FPGA再发送有效视频数据给QT上位机;
FPGA收到单包数据0x00后,停止向QT上位机发送数据;
FPGA实时等待单包数据0x01的到来,若收到,继续发送视频数据;
指令控制模块
指令控制模块实现接收QT上位机发来的控制指令,即前面《QT上位机与FPGA数据交互逻辑》的第1和第3步;
QT上位机发送0x01,表示通知FPGA可以开始发送视频数据给QT上位机了;
QT上位机发送0x00,表示通知FPGA立即停止发送视频数据给QT上位机;
指令控制模块代码架构如下:
视频组包模块
视频组包模块负责将采集视频组包,以适应与QT上位机的对接,即前面《QT上位机与FPGA数据交互逻辑》的第2和第4步;
FPGA收到单包数据0x01后,首先发送4个字节的视频分辨率信息给QT上位机;
高两个字节表示视频宽度;
低两个字节表示视频高度;
FPGA随后向QT上位机发送4字节的帧头,帧头被QT端写死为0xf05aa50f;
FPGA再发送有效视频数据给QT上位机;
FPGA收到单包数据0x00后,停止向QT上位机发送数据;
FPGA实时等待单包数据0x01的到来,若收到,继续发送视频数据;
视频组包模块代码架构如下:
UDP协议栈
UDP协议栈是以太网的协议层,由纯verilog代码实现,占用逻辑资源少,性能不错,设计精简等特点,代码有详细中文注释,这里就不过多赘述,UDP协议栈代码架构如下:
RGMII互转GMII模块
RGMII互转GMII模块由纯verilog实现;功能是实现双沿采集的RGMII数据互转单沿采集的GMII数据,需要使用高云的IDDR和ODDR源语;模块代码架构如下:
PHY芯片
本例程提供5套vivado工程源码,分别用到了RTL8211、KSZ9031、YT8531等市面上主流的PHY型号,通过这些型号PHY的使用,你将能学会其他型号PHY的使用,因为很多都是兼容的;此外,还提供了PHY的参考原理图,一并放在了资料包中;如下:
QT上位机
QT上位机实现网络视频接收显示,QT上位机只是做简单的测试,只提供.exe执行文件,不提供源码,QT上位机使用界面如下:
QT上位机以放在资料包中,如下:
IP地址、端口号的修改
工程留出了IP地址、端口号的修改端口供用户自由修改,位置在顶层模块如下:
工程源码架构
以工程源码2为例,工程源码架构如下:
4、Gowin工程源码1详解:OV7725输入版本
开发板FPGA型号:国产高云GW5A-LV25UG324ES;
开发环境:Gowin-V1.9;
视频输入:OV7725摄像头;
输入分辨率:640x480@60Hz;
视频输出:以太网输出,千兆网UDP
以太网物理层方案:RTL8211F芯片,延时模式,RGMII接口;
以太网MAC层方案:纯verilog实现的RGMII互转GMII方案;
以太网协议层方案:千兆网版本的UDP协议栈,纯verilog实现;
网口数量:1个网口,即1个FPGA工程里运行1个UDP协议栈;
工程源码架构请参考前面第3章节中的《工程源码架构》小节;
工程作用:此工程目的是让读者掌握国产高云FPGA实现网络摄像头方案的设计能力,以便能够移植和设计自己的项目;
工程的资源消耗和功耗如下:
5、Gowin工程源码2详解:OV5640输入版本
开发板FPGA型号:国产高云GW5A-LV25UG324ES;
开发环境:Gowin-V1.9;
视频输入:OV5640摄像头;
输入分辨率:640x480@60Hz;
视频输出:以太网输出,千兆网UDP
以太网物理层方案:RTL8211F芯片,延时模式,RGMII接口;
以太网MAC层方案:纯verilog实现的RGMII互转GMII方案;
以太网协议层方案:千兆网版本的UDP协议栈,纯verilog实现;
网口数量:1个网口,即1个FPGA工程里运行1个UDP协议栈;
工程源码架构请参考前面第3章节中的《工程源码架构》小节;
工程作用:此工程目的是让读者掌握国产高云FPGA实现网络摄像头方案的设计能力,以便能够移植和设计自己的项目;
工程的资源消耗和功耗如下:
6、上板调试验证并演示
需要准备的器材如下:
FPGA开发板,没有开发板可以找本博提供;
网线;
电脑主机;
我的开发板了连接如下:
然后将电脑端IP地址设置为如下:
然后下载bit或者固化bin文件,即可开始测试;
ARP绑定
以管理员身份打开CDM(一定要管理员身份打开),做如下操作:
可以看到,PC已经识别并记录了FPGA网卡的ARP信息,并标记为静态;
QT上位机接收显示
打开QT上位机,配置如下:
国产高云FPGA实现UDP网络通信效果演示
国产高云FPGA实现UDP网络通信效果演示如下:
视频-UDP
7、工程源码
代码太大,无法邮箱发送,以某度网盘链接方式发送,
资料获取方式:私,或者文章末尾的V名片。
网盘资料如下:
此外,有很多朋友给本博主提了很多意见和建议,希望能丰富服务内容和选项,因为不同朋友的需求不一样,所以本博主还提供以下服务: