当前位置：首页 > news >正文

草稿！Linux网络系统总结！

news 2025/7/23 8:31:10

网络系统

文件传输

磁盘是计算机系统最慢的硬件设备之一，读写速度比内存慢百倍以上，
所以优化磁盘的技术非常多
零拷贝直接IO 异步IO等
都是为了提升系统吞吐量
操作系统内核中还有磁盘高速缓冲区目的是减少磁盘访问次数

以文件传输，分析io工作方式以及如何优化传输文件的性能

DMA技术

传统IO过程

在这里插入图片描述

CPU发出对应的指令（IO 请求）给磁盘控制器，然后返回（是指继续手头工作么？）
磁盘控制器收到指令/请求后，开始准备数据，会把数据放到一个磁盘控制器的内部缓冲区，然后产生一个中断信号，发送给cpu
cpu收到中断信号后，停下手头工作，接着把磁盘控制器的缓冲区数据一次一个字节地读取进cpu自己地寄存器，最后把寄存器里面地数据写入内存！
数据传输期间cpu无法执行其他任务！

整个数据传输过程，都需要cpu亲自参与，亲自逐个搬运数据，而这个过程，cpu完全不能做其他事情

简单搬运几个字节是ok 但是如果我们用千兆网卡或者硬盘传输大量数据都用cpu来搬运是不行的 cpu资源非常重要！不能浪费在这个简单工作上面！

于是计算机科学家发明了直接内存访问DMA direct Memory access！技术

DMA
在进行io设备和内存的数据传输时数据搬运的工作全部交给DMA控制器
cpu不再参与任何与数据搬运有关的工作！只负责发起io请求（并且是对DMA控制器发起这个请求！）接收数据搬运完毕的信号（从DMA接收！）
cpu不再直接与磁盘交互数据是DMA搬运的！交互也改为了CPU与DMA~

这样 cpu就可以在DMA处理io任务时去处理其他任务！

具体的过程
涉及到用户进程操作系统cpu DMA 磁盘这几个对象
用户进程在调用读取数据的时候会进入阻塞状态

用户进程希望从磁盘读取数据，会调用read方法，向操作系统发送io请求请求读取数据到用户进程自身的内存缓冲区！发送read后用户进程会进入阻塞状态，等待读取
操作系统cpu收到请求后，进一步将io请求发送给DMA,然后就去执行其他任务
DMA收到操作系统发来的io请求后进一步将请求发送给磁盘
磁盘收到DMA发来的io请求之后
- 先把用户进程请求的数据放到磁盘控制器自己的缓冲区
- 当磁盘控制器的缓冲区被读满
- 向DMA发送中断信号告知DMA，磁盘控制器的缓冲区已满
DMA收到磁盘信号后，
- 将磁盘控制器缓冲区中的数据拷贝到操作系统内核缓冲区
- 此时不占用cpu cpu可以执行其他
当DMA读取到足够多的数据就会发送中断信号给cpu
cpu收到dma的中断信号后，就知道了数据已经准备够了，于是将内核中的数据拷贝到用户空间的用户进程！最后返回用户进程也结束阻塞

cpu不再参与直接的搬运工作也就是将数据从磁盘控制器缓冲区搬运到内核空间的工作这部分搬运工的工作全部由dma完成

但是cpu对于io工作依旧是必不可少的因为用户进程需要什么数据从哪里搬到哪里都需要用户进程通过cpu来告诉dma来控制dma！！

传统文件传输极其糟糕的四次切换和四次拷贝！

比如服务端可以给客户端提供文件传输功能，最简单的方式就是两步：

从服务端磁盘读文件
网络协议发送给客户端
注意我们只要传输一份数据从服务端的磁盘到网卡然后再通过网卡发送出去！
但是这么简单的一个过程却发生了四次拷贝以及四次用户态内核态之间的来回切换！！！

比如这个过程的代码是

read(file, tmp_buf, len);// 服务端磁盘读取数据
write(socket, tmp_buf, len);// 数据写入网卡

在这里插入图片描述

用到两个系统调用！read()和write() 每次系统调用都得先从用户态切换内核态，内核完成任务后，再从内核态切换用户态
这样就发生了四次上下文切换！一次切换虽然只需要几十纳秒到几微秒看上去很短但是高并发场景下这会被大大放大！从而拖垮系统性能！

还有四次数据拷贝！
其中两次是DMA的拷贝！另外两次是通过CPU拷贝！

第一次拷贝：磁盘数据经由 DMA搬运到操作系统内核的缓冲区
第二次拷贝：操作系统内核缓冲区的数据经由CPU 搬运到用户缓冲区
第三次拷贝：用户态缓冲区数据经由CPU 拷贝到内核socket的缓冲区
第四次拷贝：内核的socket缓冲区数据经由DMA 搬运到网卡缓冲区

只是从磁盘发一份数据！光是从磁盘到网卡都经过了四次拷贝！
磁盘（DMA）内核态缓冲区（CPU）用户态缓冲区 (CPU) socket 缓冲区 (DMA) 网卡缓冲区！
只是搬运一份数据，结果却搬运了 4 次，过多的数据拷贝无疑会消耗 CPU 资源大大降低了系统性能。存在冗余的上文切换和数据拷贝，在高并发系统里是非常糟糕的多了很多不必要的开销，会严重影响系统性能。

要提高文件传输性能最关键的是减少用户态与内核态的上下文切换和内存拷贝的次数！

如何优化文件传输的性能？

首先思考为什么前面传统传输数据方式这么繁琐！四次拷贝内核态用户态搬来搬去？
根本原因在于读取磁盘或者操作网卡时，用户空间没有权限操作网卡和磁盘！内核权限最高所以这些操作设备的过程都得操作系统内核完成！

一般需要内核时，我们会使用操作系统提供的系统调用函数！
一次系统调用就必然发生两次上下文切换
先从用户态切换到内核态
待内核态执行完任务再切换回用户态交由进程代码执行

所以要想减少数据拷贝次数要减少上下文切换即内核和用户态切换那就要减少系统调用次数

传统我文件传输方式的四次数据拷贝中首先第一次和第四次
从内核读缓冲区拷贝到用户的缓冲区
用户缓冲区拷贝到socket缓冲区没必要
因为用户空间中我们不会对数据再次加工！
所以将数据搬运进用户空间就是多此一举！
用户的缓冲区没有存在必要

如何实现零拷贝呢？

两种减少上下文切换和数据拷贝次数的方法！：

mmap+write
sendfile

原来传统的方法是：

read(file, tmp_buf, len);// 服务端磁盘读取数据
write(socket, tmp_buf, len);// 数据写入网卡

read()这个系统调用会把内核缓冲区数据拷贝到用户缓冲区！
为了减少这一步开销！我们用mmap()替换掉 read() 系统调用函数

// read(file, tmp_buf, len); 替换为
buf = mmap(file, len);
write(sockfd, buf, len);

（豆包详细解释这里每个参数调用传入传出的东西！）

在这里插入图片描述
read()是将内核态缓冲区数据拷贝到用户态缓冲区！
mmap()不在用户态和内核态之间搬运数据而是
创建了用户态缓冲区和内核态缓冲区之间的共享缓冲区

mmap() 系统调用函数直接将内核缓冲区的数据映射到用户空间这样操作系统内核与用户空间就不需要进行数据拷贝

使用mmap()代替read() 可以减少一次拷贝开销！本质上是减少了将内核缓冲区数据经由cpu拷贝到用户缓冲区这一步！

具体：

应用进程调用mmap() DMA 会把磁盘的数据拷贝到内核的缓冲区中。接着应用进程跟操作系统内核会共享这个缓冲区！！
应用进程再调用write()时操作系统直接将内核缓冲区（视为与应用进程共享）的数据拷贝到socket缓冲区！这一切都发生在内核态！这一步由CPU搬运
最后，还是把socket中数据搬运到拷贝到网卡缓冲区这个过程是DMA搬运！

通过mmap() 来代替read() 可以减少一次数据拷贝！

磁盘缓冲区（DMA）内核缓冲区（与用户共享） (cpu搬运) socket缓冲区（DMA）网卡

mmap()这种方式只是减少了一次数据拷贝过程！仍然是cpu拷贝一次占用cpu
仍然是两次系统调用所以仍需要4次上下文切换！

sendfile()

这是Linux内核版本2.1中提供的专门发送文件的系统调用函数sendfile()!|

#include <sys/socket.h>
ssize_t sendfile(int out_fd, int in_fd, off_t *offset, size_t count);

out_fd in_fd 分别是目的端源端的文件描述符！
后面的offset count分别是源端的偏移量和复制数据的长度
返回值是实际复制数据长度！

sendfile一个代替了两个系统调用read() 和write(）

减少了一次系统调用减少了两次系统调用！

这样做彻底不再考虑用户态，跳过搬运到用户态缓冲区这一步！直接将内核缓冲区的数据拷贝到socket缓冲区！这样就只有两次上下文切换（因为一次系统调用！）和三次数据拷贝！
在这里插入图片描述
但这样仍然开销过大！仍然占用cpu进行第二次拷贝也就是从内核缓冲区搬运到socket缓冲区！
还有优化空间！如果网卡支持SG-DMA!那么就可以把这一步也节省掉！
SG-DMA（The Scatter-Gather Direct Memory Access）技术（和普通的 DMA 有所不同），我们可以进一步减少通过 CPU 把内核缓冲区里的数据拷贝到 socket 缓冲区的过程。

我们可以在Linux系统通过这个命令查看网卡是否支持这个SG-DMA（The Scatter-Gather Direct Memory Access）技术！

$ ethtool -k eth0 | grep scatter-gather
scatter-gather: on

如果支持SG-DMA!?

第一步依旧是DMA将磁盘数据拷贝搬运到内核缓冲区！
第二步不再是将全部数据拷贝搬运到 socket缓冲区！而是只将缓冲区描述符和数据长度传到socket缓冲区！然后由SG-DMA控制器直接将内核缓冲区的数据拷贝到网卡缓冲区！
这个技术不再需要将数据从内核缓冲区拷贝到socket缓冲区！减少了一次CPU的数据拷贝！
所以这个过程只执行了两次数据拷贝且都由DMA操作不占用CPU!

在这里插入图片描述
这个技术全程没有用cpu搬运数据，因为没有在内存层面拷贝数据没用cpu所以叫做零拷贝技术！

所有数据都是DMA搬运！
SG-DMA 零拷贝相比传统方式两次系统调用四次上下文开销四次拷贝！只有一次系统调用两次上下文开销两次拷贝而且还是dma拷贝没占用cpu！所以零拷贝技术至少将文件传输性能提高一倍不止！

使用零拷贝的项目有哪些？（可以深入拓展一点其他的项目！）

一个是kafka 这个开源项目！利用了零拷贝技术！！
大幅度提高了i/o吞吐量！零拷贝利用就是kafka处理海量数据这么快的原因！
看源码它调用了 Java NIO 库里的 transferTo 方法：
如果Linux支持sendfile() 系统调用实际上 transferTo 最后就是使用的sendfile()!

经过实测零拷贝能够缩短65%y以上的文件传输时间！
在这里插入图片描述
另外就是Nginx 也支持零拷贝技术，一般默认是开启零拷贝技术，这样有利于提高文件传输的效率
（简单介绍这两个项目！）
http {
…
sendfile on
…
}
即Nginx可以配置
sendfile
设置为on表示用零拷贝技术传输文件： sendfile！这样只需要两次上下文开销（一次sendfile系统开销） 2次数据拷贝（DMA）
设置为off表示使用传统文件传输技术！ read + write！两次系统调用四次上下文切换四次拷贝（2次cpu 2次dma）