当前位置：首页 > news >正文

Nginx零拷贝技术深度解析

news 2025/8/26 9:06:11

零拷贝

零拷贝介绍

传统 Linux中 I/O 的问题
传统的 Linux 系统的标准 I/O 接口（read、write）是基于数据拷贝的，也就是数据都是 copy_to_user
或者 copy_from_user，这样做的好处是，通过中间缓存的机制，减少磁盘 I/O 的操作，但是坏处也很
明显，大量数据的拷贝，用户态和内核态的频繁切换，会消耗大量的 CPU 资源，严重影响数据传输的性能，统计表明，在Linux协议栈中，数据包在内核态和用户态之间的拷贝所用的时间甚至占到了数据包整个处理流程时间的57.1%
什么是零拷贝
零拷贝就是上述问题的一个解决方案，通过尽量避免拷贝操作来缓解 CPU 的压力。零拷贝并没有真正做到“0”拷贝，它更多是一种思想，很多的零拷贝技术都是基于这个思想去做的优化

零拷页相关技术

MMAP ( Memory Mapping )
mmap()系统调用使得进程之间通过映射同一个普通文件实现共享内存。普通文件被映射到进程地址空
间后，进程可以向访问普通内存一样对文件进行访问。

mmap是一种内存映射文件的方法，即将一个文件或者其它对象映射到进程的地址空间，实现文件磁盘地址和进程虚拟地址空间中一段虚拟地址的一一对映关系。

实现这样的映射关系后，进程就可以采用指针的方式读写操作这一段内存，而系统会自动回写脏页面到对应的文件磁盘上，即完成了对文件的操作而不必再调用read,write等系统调用函数。相反，内核空间对这段区域的修改也直接反映用户空间，从而可以实现不同进程间的文件共享。

内存映射减少数据在用户空间和内核空间之间的拷贝操作，适合大量数据传输
在这里插入图片描述
上面左图为传统读写，右图为MMAP。两者相比mmap要比普通的read系统调用少了一次copy的过程。因为read调用，进程是无法直接访问kernel space的，所以在read系统调用返回前，内核需要将数据从内核复制到进程指定的buffer。但mmap之后，进程可以直接访问mmap的数据(page cache)。
SENDFILE
在这里插入图片描述
DMA辅助的 SENDFILE

Nginx 架构和安装

Nginx 概述

Nginx 介绍
Nginx：engine X ，2002年开发，分为社区版和商业版(nginx plus )
2019年3月11日 F5 Networks 6.7亿美元的价格收购
Nginx是免费的、开源的、高性能的HTTP和反向代理服务器、邮件代理服务器、以及TCP/UDP代理服务器
解决C10K问题（10K Connections）
Nginx官网：http://nginx.org
nginx的其它的二次发行版：

Tengine
由淘宝网发起的Web服务器项目。它在Nginx的基础上，针对大访问量网站的需求，添加了很多高级功能和特性。Tengine的性能和稳定性已经在大型的网站如淘宝网，天猫商城等得到了很好的检验。它的最终目标是打造一个高效、稳定、安全、易用的Web平台。从2011年12月开始，Tengine成为一个开源项目
官网: http://tengine.taobao.org/
OpenResty
基于 Nginx 与 Lua 语言的高性能 Web 平台，章亦春团队开发
官网：http://openresty.org/cn/

Nginx 功能介绍

静态的web资源服务器html，图片，js，css，txt等静态资源
http/https协议的反向代理
结合FastCGI/uWSGI/SCGI等协议反向代理动态资源请求
tcp/udp协议的请求转发（反向代理）
imap4/pop3协议的反向代理

基础特性

模块化设计，较好的扩展性
高可靠性
支持热部署：不停机更新配置文件，升级版本，更换日志文件
低内存消耗：10000个keep-alive连接模式下的非活动连接，仅需2.5M内存
event-driven,aio,mmap，sendfile

Web 服务相关的功能

虚拟主机（server）
支持 keep-alive 和管道连接(利用一个连接做多次请求)
访问日志（支持基于日志缓冲提高其性能）
url rewirte
路径别名
基于IP及用户的访问控制
支持速率限制及并发数限制
重新配置和在线升级而无须中断客户的工作进程

Nginx 架构和进程

Nginx 架构
在这里插入图片描述
Nginx 进程结构
Nginx是多进程组织模型，而且是一个由Master主进程和Worker工作进程组成。

主进程(master process)的功能：

对外接口：接收外部的操作（信号）
对内转发：根据外部的操作的不同，通过信号管理 Worker
监控：监控 worker 进程的运行状态，worker 进程异常终止后，自动重启 worker 进程
读取Nginx 配置文件并验证其有效性和正确性
建立、绑定和关闭socket连接
按照配置生成、管理和结束工作进程
接受外界指令，比如重启、升级及退出服务器等指令
不中断服务，实现平滑升级，重启服务并应用新的配置
开启日志文件，获取文件描述符
不中断服务，实现平滑升级，升级失败进行回滚处理
编译和处理perl脚本

工作进程（worker process）的功能：

所有 Worker 进程都是平等的
实际处理：网络请求，由 Worker 进程处理
Worker进程数量：一般设置为核心数，充分利用CPU资源，同时避免进程数量过多，导致进程竞争CPU资源，
增加上下文切换的损耗
接受处理客户的请求
将请求依次送入各个功能模块进行处理
I/O调用，获取响应数据
与后端服务器通信，接收后端服务器的处理结果
缓存数据，访问缓存索引，查询和调用缓存数据
发送请求结果，响应客户的请求
接收主程序指令，比如重启、升级和退出等

Nginx 启动和 HTTP 连接建立

在这里插入图片描述
Nginx 启动时，Master 进程，加载配置文件
Master 进程，初始化监听的 socket
Master 进程，fork 出多个 Worker 进程
Worker 进程，竞争新的连接，获胜方通过三次握手，建立 Socket 连接，并处理请求

HTTP 处理过程

在这里插入图片描述
Nginx是一种高性能的Web服务器，可以处理大量的并发HTTP请求。Nginx在处理HTTP请求时采用了高效的事件驱动模型，使用异步IO等技术实现了高性能、低延迟的请求处理。
在处理HTTP请求时，Nginx会通过以下步骤进行处理：

读取请求：当客户端发送HTTP请求时，Nginx会使用socket接口读取请求，包括请求头和请求体。
解析请求：Nginx会对请求进行解析，包括解析请求方法、请求路径、查询参数等信息。Nginx还
会对请求头进行解析，包括解析Host、User-Agent、Content-Type等字段，这些信息可以在后续
处理中使用。
处理请求：根据解析得到的请求信息，Nginx会进行请求处理。比如，如果请求路径对应的是一个静态文件，Nginx会直接返回文件内容；如果请求路径对应的是一个动态页面，Nginx会将请求转发给对应的后端应用服务器。
处理请求体：如果请求包含请求体，Nginx会将请求体读取到内存中，以供后续处理使用。
处理响应：当请求处理完成后，Nginx会根据处理结果生成响应，并发送给客户端。Nginx会将响
应头和响应体一起发送给客户端，响应头中包含响应状态码、响应头字段等信息。
关闭连接：当请求处理完成后，Nginx会关闭连接，释放资源，等待下一个请求。

Nginx 模块介绍

nginx 有多种模块

核心模块：是 Nginx 服务器正常运行必不可少的模块，提供错误日志记录、配置文件解析、事件
驱动机制、进程管理等核心功能
标准HTTP模块：提供 HTTP 协议解析相关的功能，比如：端口配置、网页编码设置、 HTTP响应头设置等
可选HTTP模块：主要用于扩展标准的 HTTP 功能，让 Nginx 能处理一些特殊的服务，比如： Flash 多媒体传输、解析 GeoIP 请求、网络传输压缩、安全协议 SSL 支持等
邮件服务模块：主要用于支持 Nginx 的邮件服务，包括对 POP3 协议、 IMAP 协议和 SMTP协议的支持Stream服务模块: 实现反向代理功能,包括TCP协议代理
第三方模块：是为了扩展 Nginx 服务器应用，完成开发者自定义功能，比如： Json 支持、 Lua 支持等

nginx高度模块化，但其模块早期不支持DSO机制;1.9.11 版本支持动态装载和卸载
模块分类：

核心模块：core module
标准模块：
HTTP 模块： ngx_http_*HTTP Core modules       #默认功能HTTP Optional modules    #需编译时指定
Mail 模块:  ngx_mail_*
Stream 模块 ngx_stream_*
第三方模块

查看全文

http://www.dtcms.com/a/350215.html