当前位置：首页 > news >正文

TCP服务端处理HTT

news 2025/11/2 12:30:00

以下是对Linux epoll底层实现机制的深度刨析，结合红黑树、就绪队列、零拷贝技术及网络协议栈全流程，并附带关键函数解析：

核心数据结构与机制

红黑树（rbtree）
- 作用：高效管理海量文件描述符（fd）
- 实现：eventpoll结构体中的rbr成员（struct rb_root rbr）
- 节点：epitem结构体（包含fd、事件掩码、指向eventpoll的指针等）
- 操作：
  - epoll_ctl(EPOLL_CTL_ADD) → 插入红黑树（ep_insert()）
  - epoll_ctl(EPOLL_CTL_DEL) → 删除节点（ep_remove()）
- 优势：O(log n)的插入/删除/查找效率，适用于万级并发连接
就绪队列（Ready List）
- 作用：存储已就绪事件的fd
- 实现：eventpoll中的rdllist（struct list_head rdllist）
- 触发：当fd事件就绪时，通过回调函数ep_poll_callback()将epitem加入队列
- 消费：epoll_wait()拷贝就绪事件到用户空间后清空队列
零拷贝优化
- epoll_wait()：通过__put_user()直接将内核就绪队列事件拷贝到用户空间
- 对比select/poll：避免全量fd集合的用户态-内核态拷贝

网络数据到达的全栈流程（以TCP数据包为例）

阶段1：网卡到内核协议栈

网卡接收
- 数据帧到达网卡 → DMA写入Ring Buffer
- 网卡触发硬中断（IRQ），CPU执行ixgbe_msix_clean()（Intel网卡驱动）
NAPI处理
- 软中断net_rx_action()调度 → 驱动调用napi_poll()收包
- 解析以太帧头 → 交付网络层
IP层处理
- ip_rcv()验证IP头 → 根据协议字段分发到TCP层
TCP层处理
- tcp_v4_rcv()处理：
  - 查找Socket：根据<源IP, 源端口, 目的IP, 目的端口>哈希查找
  - 数据放入接收队列：sk_buff存入sock的sk_receive_queue
  - 更新状态：若数据包完成ACK确认，移动连接至ESTABLISHED

阶段2：唤醒epoll

通知就绪事件

TCP层调用sock_def_readable() → 触发Socket的等待队列回调

关键函数链：

tcp_v4_rcv()→ tcp_queue_rcv()→ __tcp_enqueue_synack()→ sock_def_readable()→ ep_poll_callback()  // 核心回调！

ep_poll_callback()工作流程
- 检查事件是否匹配（EPOLLIN/EPOLLOUT等）
- 将对应epitem加入eventpoll的就绪队列rdllist
- 唤醒阻塞在epoll_wait()的进程

阶段3：用户获取事件

epoll_wait()调用
- 检查就绪队列rdllist：
  - 非空：拷贝事件到用户空间
  - 空：进程加入eventpoll的等待队列，休眠
事件拷贝
- 遍历rdllist → 对每个epitem生成epoll_event
- 通过copy_to_user()或__put_user()零拷贝到用户空间

关键函数深度解析

epoll_create()
- 创建eventpoll对象，初始化红黑树(rbr)和就绪队列(rdllist)
- 返回epoll实例的文件描述符

epoll_ctl()

// 内核源码片段 (fs/eventpoll.c)
SYSCALL_DEFINE4(epoll_ctl, int, epfd, int, op, int, fd, struct epoll_event __user *, event)
{struct eventpoll *ep = file->private_data;switch (op) {case EPOLL_CTL_ADD:ep_insert(ep, event, fd); // 插入红黑树并注册回调break;case EPOLL_CTL_DEL:ep_remove(ep, fd);        // 从树中删除并解除回调break;}
}

epoll_wait()

// 核心逻辑简化
int epoll_wait() {if (list_empty(&ep->rdllist)) {add_wait_queue(&ep->wq, &wait); // 加入等待队列for (;;) {set_current_state(TASK_INTERRUPTIBLE);if (!list_empty(&ep->rdllist) || timed_out) break;schedule(); // 让出CPU，进入阻塞}}ep_send_events(ep, events, maxevents); // 拷贝就绪事件
}

回调函数 ep_poll_callback()

static int ep_poll_callback(wait_queue_entry_t *wait, ...) {struct epitem *epi = container_of(wait, struct epitem, wait);struct eventpoll *ep = epi->ep;if (!ep_is_linked(&epi->rdllink)) list_add_tail(&epi->rdllink, &ep->rdllist); // 加入就绪队列wake_up_locked(&ep->wq); // 唤醒epoll_wait进程
}