飞腾D3000自带10G网卡调试
1、背景介绍
最近项目中采用了飞腾D3000这款芯片,D3000内部集成了两个10G网卡,可以作为独立网卡使用。
2、飞腾PBF配置
pbf中需要配置网卡,如下,模式为usxgmii,speed强制为10g

3、devicetree配置
项目中采用uboot方式引导,因此需要设备树,网卡节点描述如下:

注意节点中的queue-number只能配置为4,因为D3000自带的网卡最多只支持4个队列。
4、uboot启动参数配置
为了提升网卡性能,在uboot中单独隔出一个核处理网卡中断,这里是隔出了核3
setenv bootargs "console=ttyAMA1,115200 earlycon=pl011,0x28009000 root=/dev/nvme0n1p2 net.ifnames=0 biosdevname=0 isolcpus=3 nohz_full=3 rw"5、麒麟信安系统配置
在麒麟信安系统下进行优化配置,如下
CPU设置为performance模式
cpupower frequency-set -g performance或者用
tuned-adm profile throughput-performance
网卡中断亲核性配置
将中断亲核性配置到uboot中隔出来的核3上

QOS优化,调高发送优先级
# 打开队列调度 (pfifo_fast或mqprio)
tc qdisc replace dev eth1 root handle 1: prio
# 设置特定优先级
tc filter add dev eth1 protocol ip parent 1: prio 1 u32 match ip dport 8000 0xffff flowid 1:1关闭负载均衡
systemctl disable irqbalance
内核协议栈优化配置
修改/etc/sysctl.conf,增加下图圈出来的内容,配置maxbacklog和网卡接收缓冲区

6、问题
经过上述优化后,实际使用发现D3000自带的网卡还是存在一些问题
udp接收数据时存在缓冲区溢出情况,下图中的overruns就是缓冲区溢出了,包被丢掉

此时UDP带宽不到1Gbps

和飞腾确认,得知D3000自带的10G网卡虽然有四个队列,但是不支持哈希,无法通过RSS分配到不同队列中。ethtool能看到4个队列

但是接收数据时,中断都集中到一个队列上

当CPU占用率高的时候丢包更明显,即使中断核已经隔出来,该核不跑任何程序。其他核也只跑CPU计算程序,不涉及DDR操作

另外,该网卡在目前驱动下,MTU值无法配置为9000,可能是麒麟信安下面驱动适配问题

总的来说,如果对性能有要求的情况下,还是不建议使用D3000自带的10G网卡,通过D3000外接一个网讯1820更靠谱一些。
