《TCP/IP网络编程》学习笔记 | Chapter 23：IOCP

《TCP/IP网络编程》学习笔记 | Chapter 23：IOCP

通过重叠 I/O 理解 IOCP

epoll 和 IOCP 的性能比较

两种模型都很优秀，它们的差异主要在于操作系统内部的工作机制。

服务器端的响应时间和并发服务数是衡量服务器端好坏的重要因素。硬件性能和分配带宽充足情况下，若响应时间和并发服务数出了问题，查看以下两点：

• 低效的 I/O 结构或低效的 CPU 使用
• 数据库设计和查询语句（Query）的结构

实现非阻塞模式的套接字

前一章中只介绍了执行重叠 I/O 的 Sender 和 Receiver，但还未利用该模型实现过服务器端。因此，我们先利用重叠 I/O 模型实现回声服务器端。

首先介绍创建非阻塞模式套接字的方法。我们曾在第 17 章创建过非阻塞模式的套接字，与之类似，在 Windows 中通过如下函数调用将套接字属性改为非阻塞模式。

SOCKET hLisnSock;
int mode = 1;
.....
hListSock = WSASocket(PF_INET, SOCK_STREAM, 0, NULL, 0, WSA_FLAG_OVERLAPPED); //创建重叠 IO
ioctlsocket(hLisnSock, FIONBIO, &mode); // 设定套接字为非阻塞属性
.....

ioctlsocket 函数负责控制套接字 I/O 方式，其调用具有如下含义：将 hLisnSock 句柄引用的套接字 I/O 模式（FIONBIO）改为变量 mode 中指定的形式。也就是说，FIONBIO 是用于更改套接字 I/O 模式的选项，该函数的第三个参数中传入的变量中若存有 0，则说明套接字是阻塞模式的；如果存有非 0 值，则说明已将套接字模式改为非阻塞模式。改为非阻塞模式后，除了以非阻塞模式进行 I/O 外，还具有如下特点：

• 如果在没有客户端连接请求的状态下调用 accept 函数，将直接返回 INVALID_SOCKET。调用 WSAGetLastError 函数时返回 WSAEWOULDBLOCK。
• 调用 accept 函数时创建的套接字同样具有非阻塞属性。

因此，针对非阻塞套接字调用 accept 函数并返回 INVALID_SOCKET 时，应该通过 WSAGetLastError 函数确认返回 INVALID_SOCKET 的理由，再进行适当处理。

以纯重叠 I/O 方式实现回声服务器端

由于代码量较大，我们分3个部分学习。

片段 1：main 函数之前

#include <stdio.h>
#include <stdlib.h>
#include <winsock2.h>

#define BUF_SIZE 1024

void CALLBACK ReadCompRoutine(DWORD, DWORD, LPWSAOVERLAPPED, DWORD);
void CALLBACK WriteCompRoutine(DWORD, DWORD, LPWSAOVERLAPPED, DWORD);
void ErrorHandling(char *message);

typedef struct
{
    SOCKET hClntSock;   // 套接字句柄
    char buf[BUF_SIZE]; // 读写数据放置地址
    WSABUF wsaBuf;      // 指向放置读写的数据的地址和大小
} PER_IO_DATA, *LPPER_IO_DATA;

PER_IO_DATA 结构体中的信息足够进行数据交换。

片段 2：main 函数

int main(int argc, char *argv[])
{
    WSADATA wsaData;
    SOCKET hLisnSock, hRecvSock;
    SOCKADDR_IN lisnAdr, recvAdr;
    LPWSAOVERLAPPED lpOvLp;
    DWORD recvBytes, flagInfo = 0;
    LPPER_IO_DATA hbInfo;
    u_long mode = 1;
    int recvAdrsz;

    if (argc != 2)
    {
        printf("Usage: %s <port>\n", argv[0]);
        exit(1);
    }

    if (WSAStartup(MAKEWORD(2, 2), &wsaData) != 0)
        ErrorHandling("WSAStartup() error!");

    hLisnSock = WSASocket(PF_INET, SOCK_STREAM, 0, NULL, 0, WSA_FLAG_OVERLAPPED);
    ioctlsocket(hLisnSock, FIONBIO, &mode);

    memset(&lisnAdr, 0, sizeof(lisnAdr));
    lisnAdr.sin_family = AF_INET;
    lisnAdr.sin_addr.s_addr = htonl(INADDR_ANY);
    lisnAdr.sin_port = htons(atoi(argv[1]));

    if (bind(hLisnSock, (SOCKADDR *)&lisnAdr, sizeof(lisnAdr)) == SOCKET_ERROR)
        ErrorHandling("bind() error");

    if (listen(hLisnSock, 5) == SOCKET_ERROR)
        ErrorHandling("listen() error");

    recvAdrsz = sizeof(recvAdr);
    while (1)
    {
        SleepEx(100, TRUE);

        hRecvSock = accept(hLisnSock, (SOCKADDR *)&recvAdr, &recvAdrsz);
        if (hRecvSock == INVALID_SOCKET)
        {
            if (WSAGetLastError() == WSAEWOULDBLOCK)
                continue;
            else
                ErrorHandling("accept() error");
        }

        puts("Client connected.....");
        lpOvLp = (LPWSAOVERLAPPED)malloc(sizeof(WSAOVERLAPPED));
        memset(lpOvLp, 0, sizeof(WSAOVERLAPPED));

        hbInfo = (LPPER_IO_DATA)malloc(sizeof(PER_IO_DATA));
        hbInfo->hClntSock = (DWORD)hRecvSock;
        (hbInfo->wsaBuf).buf = hbInfo->buf;
        (hbInfo->wsaBuf).len = BUF_SIZE;

        lpOvLp->hEvent = (HANDLE)hbInfo;
        WSARecv(hRecvSock, &(hbInfo->wsaBuf), 1, &recvBytes, &flagInfo, lpOvLp, ReadCompRoutine);
    }

    closesocket(hRecvSock);
    closesocket(hLisnSock);
    WSACleanup();
    return 0;
}

注意几点：

• 之所以在循环内部申请 WSAOVERLAPPED 结构体空间，是因为每个客户端都需要独立的 WSAOVERLAPPED 结构体变量。
• 基于 Completion Routine 函数的重叠 I/O 中不需要事件对象，因此，hEvent 中可以写入自定义结构体信息。
• 调用 WSARecv 函数时将 ReadCompRoutine 函数指定为 Completion Routine。其
  中第六个参数 WSAOVERLAPPED 结构体变量地址值将传递到 Completion Routine 的第三个参数，因此，Completion Routine 函数内可以访问完成 I/O 的套接字句柄和缓冲。
• 为了运行 Completion Routine 函数，循环调用 SleepEx 函数。

片段 3：2 个 Completion Routine 函数

void CALLBACK ReadCompRoutine(DWORD dwError, DWORD szRecvBytes, LPWSAOVERLAPPED lpOverlapped, DWORD flags)
{
    LPPER_IO_DATA hbInfo = (LPPER_IO_DATA)(lpOverlapped->hEvent);
    SOCKET hSock = hbInfo->hClntSock;
    LPWSABUF bufInfo = &(hbInfo->wsaBuf);
    DWORD sentBytes;

    if (szRecvBytes == 0)
    { // 如果接收到了 EOF 那么则关闭套接字以及释放对应的空间
        closesocket(hSock);
        free(lpOverlapped->hEvent);
        free(lpOverlapped);
        puts("Client disconnected.....");
    }
    else
    { // 如果不为零那么一定有需要回声的内容
        bufInfo->len = szRecvBytes;
        WSASend(hSock, bufInfo, 1, &sentBytes, 0, lpOverlapped, WriteCompRoutine);
    }
}

void CALLBACK WriteCompRoutine(DWORD dwError, DWORD szSendBytes, LPWSAOVERLAPPED lpOverlapped, DWORD flags)
{
    LPPER_IO_DATA hbInfo = (LPPER_IO_DATA)(lpOverlapped->hEvent);
    SOCKET hSock = hbInfo->hClntSock;
    LPWSABUF bufInfo = &(hbInfo->wsaBuf);
    DWORD recvBytes, flagInfo = 0;
    // 发送后默认等待再次回声
    WSARecv(hSock, bufInfo, 1, &recvBytes, &flagInfo, lpOverlapped, ReadCompRoutine);
}

void ErrorHandling(char *message)
{
    fputs(message, stderr);
    fputc('\n', stderr);
    exit(1);
}

实际的回声服务是通过这两个函数完成的。

上述示例的工作原理整理如下：

• 有新的客户端连接时调用 WSARecv 函数，并以非阻塞模式接收数据，接收完成后调用 ReadCompRoutine 函数。
• 调用 ReadCompRoutine 函数后调用 WSASend 函数，并以非阻塞模式发送数据，发送完成后
  调用 WriteCompRoutine 函数。
• 此时调用的 WriteCompRoutine 函数将再次调用 WSARecv 函数，并以非阻塞模式等待接收数据。

通过交替调用 ReadCompRoutine 函数和 WriteCompRoutine 函数，反复执行数据的接收和发送操作。另外，每次增加 1 个客户端都会定义 PER_IO_DATA 结构体，以便将新创建的套接字句柄和缓冲信息传递给 ReadCompRoutine 函数和 WriteCompRoutine 函数。同时将该结构体地址值写入 WSAOVERLAPPED 结构体成员 hEvent，并传递给 Completion Routine 函数。这非常重要，可概括如下：“使用 WSAOVERLAPPED 结构体成员 hEvent 向完成 I/O 时自动调用的 Completion Routine 函数内部传递客户端信息（套接字和缓冲)。”

接下来需要验证运行结果，先要编写回声客户端，因为使用第 4 章的回声客户端会无法得到预想的结果。

重新实现客户端

#include <stdio.h>
#include <stdlib.h>
#include <winsock2.h>

#define BUF_SIZE 1024

void ErrorHanding(const char *message);

int main(int argc, char *argv[])
{
    WSADATA wsaData;
    if (WSAStartup(MAKEWORD(2, 2), &wsaData) != 0)
        ErrorHanding("WSAStartup() error!");

    SOCKET hSocket = socket(PF_INET, SOCK_STREAM, 0);
    if (hSocket == INVALID_SOCKET)
        ErrorHanding("socket() error!");

    int szAddr = sizeof(SOCKADDR_IN);

    SOCKADDR_IN servAddr;
    memset(&servAddr, 0, szAddr);
    servAddr.sin_family = AF_INET;
    servAddr.sin_addr.s_addr = inet_addr(argv[1]);
    servAddr.sin_port = htons(atoi(argv[2]));

    if (connect(hSocket, (SOCKADDR *)&servAddr, szAddr) == SOCKET_ERROR)
        ErrorHanding("connect() error!");
    else
        puts("Connected.......");

    while (1)
    {
        fputs("Input message(Q to quit): ", stdout);
        char message[BUF_SIZE] = {0};
        fgets(message, BUF_SIZE - 1, stdin);
        if (!strcmp(message, "q\n") || !strcmp(message, "Q\n"))
            break;

        int strLen = strlen(message);
        send(hSocket, message, strLen, 0);
        int readLen = 0;
        while (1)
        {
            readLen += recv(hSocket, &message[readLen], BUF_SIZE - 1, 0);
            if (readLen >= strLen)
                break;
        }
        message[strLen] = '\0';
        printf("Message from server: %s\n", message);
    }

    closesocket(hSocket);
    WSACleanup();
    return 0;
}

void ErrorHanding(const char *message)
{
    fputs(message, stderr);
    fputc('\n', stderr);
    exit(1);
}

考虑到 TCP 的传输特性而重复调用了 recv 函数，直至接收完所有数据。

测试

编译：

gcc CmplRouEchoServ_win.c -lwsock32 -o CmplRouEchoServ
gcc StableEchoClnt_win.c -lws2_32 -o StableEchoClnt

运行结果：

从重叠 I/O 模型到 IOCP 模型

重叠 I/O 模型回声服务器端的缺点：重复调用非阻塞模式的 accept 函数和以进入 alertable wait 状态为目的的 SleepEx 函数将影响性能。

如果正确理解了之前的示例，应该不难发现这一点。既不能为了处理连接请求而只调用 accept 函数，也不能为了 Completion Routine 而只调用 SleepEx 函数，因此轮流调用了非阻塞模式的 accept 函数和 SleepEx 函数（设置较短的超时时间)。这个恰恰是影响性能的代码结构。

这属于重叠I/O结构固有的缺陷。

可以考虑如下方法：让 main 线程（在 main 函数内部）调用 accept 函数，再单独创建 1 个线程负责客户端 I/O。

其实这就是 IOCP 中采用的服务器端模型。换言之，IOCP 将创建专用的 I/O 线程，该线程负责与所有客户端进行I/O。

分阶段实现 IOCP 程序

本节我们编写最后一种服务器模型 IOCP，比阅读代码更重要的是理解 IOCP 本身。

IOCP 关注焦点：

• I/O 是否以非阻塞模式工作？
• 如何确定非阻塞模式的 I/O 是否完成？

创建“完成端口"

IOCP 中已完成的 I/O 信息将注册到完成端口对象（Completion Port，简称 CP 对象），但这个过
程并非单纯的注册，首先需要经过如下请求过程：“该套接字的 I/O 完成时，请把状态信息注册到指定 CP 对象。"

该过程称为“套接字和CP对象之间的连接请求”。因此，为了实现基于 IOCP 模型的服务器端，需要做如下 2 项工作。

• 创建完成端口对象。
• 建立完成端口对象和套接字之间的联系。

此时的套接字必须被赋予重叠属性。上述 2 项工作可以通过 1 个函数完成，但为了创建 CP 对象，先介绍如下函数。

#include <windows.h>

HANDLE CreateIoCompletionport(
	HANDLE FileHandle,
	HANDLE ExistingCompletionPort,
	ULONG_PTR Completionkey,
	DWORD NumberofConcurrentThreads
);

参数：

• FileHandle：创建 CP 对象时传递 INVALID_HANDLE_VALUE。
• ExistingCompletionPort：创建 CP 对象时传递 NULL。
• CompletionKey：创建 CP 对象时传递 0。
• NumberOfConcurrentThreads：分配给 CP 对象的用于处理 I/O 的线程数。例如，该参数为 2 时，说明分配给 CP 对象的可以同时运行的线程数最多为 2 个；如果该参数为 0，系统中 CPU 个数（内核数）就是可同时运行的最大线程数。

成功时返回 CP 对象句柄，失败时返回 NULL。

以创建 CP 对象为目的调用上述函数时，只有最后一个参数才真正具有含义。可以用如下代码段将分配给 CP 对象的用于处理 I/O 的线程数指定为 2。

HANDLE hCpObject;
.....
hCpObject = CreateIoCompletionPort(INVALID_HANDLE_VALUE, NULL, 0, 2);

连接完成端口对象和套接字

既然有了 CP 对象，接下来就要将该对象连接到套接字，只有这样才能使已完成的套接字I/O信息注册到 CP 对象。下面以建立连接为目的再次介绍 CreateIoCompletionPort 函数。

#include <windows.h>

HANDLE CreateIoCompletionport(
	HANDLE FileHandle,
	HANDLE ExistingCompletionPort,
	ULONG_PTR Completionkey,
	DWORD NumberofConcurrentThreads
);

参数：

• FileHandle：要连接到 CP 对象的套接字句柄。
• ExistingCompletionPort：要连接套接字的 CP 对象句柄。
• CompletionKey：传递已完成 I/O 相关信息，关于该参数将在稍后介绍的 GetQueuedCompletionStatus 函数中共同讨论。
• NumberOfConcurrentThreads：无论传递何值，只要该函数的第二个参数非 NULL 就会忽略。

成功时返回 CP 对象句柄，失败时返回 NULL。

上述函数的第二种功能就是将FileHandle句柄指向的套接字和ExistingCompletionPort指向的
CP对象相连。该函数的调用方式如下。

HANDLE hCpObject;
SOCKET hSock;
......
CreateIoCompletionPort((HANDLE)hSock, hCpObject, (DWORD)ioInfo, 0);

调用 CreateIoCompletionPort 函数后，只要针对 hSock 的 I/O 完成，相关信息就将注册到 hCpObject 指向的 CP 对象。

确认完成端口已完成的 I/O 和线程的 I/O 处理

我们已经掌握了 CP 对象的创建及其与套接字建立连接的方法，接下来就要学习如何确认 CP 中注册的已完成的 I/O。完成该功能的函数如下。

#include <windows.h>

BOOL GetQueuedCompletionStatus(
	HANDLE CompletionPort,
	LPDWORD lpNumberOfBytes,
	PULONG_PTR lpCompletionKey,
	LPOVERLAPPED * lpoverlapped,
	DWORD dwMilliseconds
);

参数：

• CompletionPort：注册有已完成 I/O 信息的CP对象句柄。
• IpNumberOfBytes：用于保存 I/O 过程中传输的数据大小的变量地址值。
• IpCompletionKey：用于保存 CreateIoCompletionPort 函数的第三个参数值的变量地址值。
• IpOverlapped：用于保存调用 WSASend、WSARecv 函数时传递的 OVERLAPPED 结构体地址的变量地址值。
• dwMilliseconds：超时信息超过该指定时间后将返回FALSE并跳出函数。传递 INFINITE 时，程序将阻塞，直到已完成 I/O 信息写入 CP 对象。

成功时返回 TRUE，失败时返回 FALSE。

虽然只介绍了 2 个 IOCP 相关函数，但依然有些复杂，特别是上述函数的第三个和第四个参数更是如此。其实这 2 个参数主要是为了获取需要的信息而设置的，下面介绍这 2 种信息的含义。

• 通过 GetQueuedCompletionStatus 函数的第三个参数得到的是以连接套接字和 CP 对象为目的而调用的 CreateloCompletionPort 函数的第三个参数值。
• 通过 GetQueueCompletionStatus 函数的第四个参数得到的是调用 WSASend、WSARecv 函数时传入的 WSAOVERLAPPED 结构体变量地址值。

IOCP 中将创建全职 I/O 线程，由该线程针对所有客户端进行 I/O。程序员自行创建调用 WSASend、WSARecv 等 I/O 函数的线程，该线程为了确认 I/O 的完成会调用 GetQueuedCompletionStatus 函数。

虽然任何线程都能调用 GetQueuedCompletionStatus 函数，但实际得到 I/O 完成信息的线程数不会超过调用 CreateIoCompletionPort 函数时指定的最大线程数。

实现基于 IOCP 的回声服务器端

同样分段进行讲解。

片段 1：main 函数之前

#include <stdio.h>
#include <stdlib.h>
#include <process.h>
#include <winsock2.h>
#include <windows.h>

#define BUF_SIZE 100
#define READ 3
#define WRITE 5

typedef struct // socket info
{
    SOCKET hClntSock;
    SOCKADDR_IN clntAdr;
} PER_HANDLE_DATA, *LPPER_HANDLE_DATA;

typedef struct // buffer info
{
    OVERLAPPED overlapped;
    WSABUF wsaBuf;
    char buffer[BUF_SIZE];
    int rwMode; // READ or WRITE
} PER_IO_DATA, *LPPER_IO_DATA;

DWORD WINAPI EchoThreadMain(LPVOID CompletionPortIo);
void ErrorHandling(char *message);

其中，PER_HANDLE_DATA 是保存与客户端相连套接字的结构体。将 I/O 中使用的缓冲和重叠 I/O 中需要的 OVERLAPPED 结构体变量封装到同一结构体中进行定义。

片段 2：main 函数

int main(int argc, char *argv[])
{
    WSADATA wsaData;
    HANDLE hComPort;
    SYSTEM_INFO sysInfo;
    LPPER_IO_DATA ioInfo;
    LPPER_HANDLE_DATA handleInfo;

    SOCKET hServSock;
    SOCKADDR_IN servAdr;
    DWORD recvBytes, flags = 0;

    if (WSAStartup(MAKEWORD(2, 2), &wsaData) != 0)
        ErrorHandling("WSAStartup() error!");

    hComPort = CreateIoCompletionPort(INVALID_HANDLE_VALUE, NULL, 0, 0); // 创建 CP 对象
    GetSystemInfo(&sysInfo);                                             // 获得当前系统的信息
    // 创建线程数等于 CPU 数量
    for (int i = 0; i < sysInfo.dwNumberOfProcessors; i++)
        _beginthreadex(NULL, 0, (LPVOID)EchoThreadMain, (LPVOID)hComPort, 0, NULL);

    hServSock = WSASocket(AF_INET, SOCK_STREAM, 0, NULL, 0, WSA_FLAG_OVERLAPPED);
    memset(&servAdr, 0, sizeof(servAdr));
    servAdr.sin_family = AF_INET;
    servAdr.sin_addr.s_addr = htonl(INADDR_ANY);
    servAdr.sin_port = htons(atoi(argv[1]));

    if (bind(hServSock, (SOCKADDR *)&servAdr, sizeof(servAdr)) == SOCKET_ERROR)
        ErrorHandling("bind() error");
    if (listen(hServSock, 5) == SOCKET_ERROR)
        ErrorHandling("listen() error");

    while (1)
    {
        SOCKET hClntSock;
        SOCKADDR_IN clntAdr;
        int addrLen = sizeof(clntAdr);

        hClntSock = accept(hServSock, (SOCKADDR *)&clntAdr, &addrLen);
        if (hClntSock == INVALID_SOCKET)
        {
            if (WSAGetLastError() == WSAEWOULDBLOCK)
                continue;
            else
                ErrorHandling("accept() error");
        }

        handleInfo = (LPPER_HANDLE_DATA)malloc(sizeof(PER_HANDLE_DATA));
        handleInfo->hClntSock = hClntSock;
        memcpy(&(handleInfo->clntAdr), &clntAdr, addrLen);

        CreateIoCompletionPort((HANDLE)hClntSock, hComPort, (ULONG_PTR)handleInfo, 0); // 建立连接

        ioInfo = (LPPER_IO_DATA)malloc(sizeof(PER_IO_DATA));
        memset(&(ioInfo->overlapped), 0, sizeof(OVERLAPPED));
        ioInfo->wsaBuf.len = BUF_SIZE;
        ioInfo->wsaBuf.buf = ioInfo->buffer;
        ioInfo->rwMode = READ;

        WSARecv(handleInfo->hClntSock, &(ioInfo->wsaBuf), 1, &recvBytes, &flags, &(ioInfo->overlapped), NULL);
    }

    closesocket(hServSock);
    WSACleanup();
    return 0;
}

套接字的重叠 I/O 完成时，已完成信息将写入连接的 CP 对象，这会引起 GetQueuedCompletionStatus 函数的返回。请注意观察 handleInfo，它同样是在 GetQueuedCompletionStatus 函数返回时得到的。

IOCP 本身不会帮我们区分输入完成和输出完成的状态。无论输入还是输出，只通知完成 I/O 的状态，因此需要通过额外的变量区分这 2 种 I/O。PER_IO_DATA 结构体中的 rwMode 就用于完成该功能。

WSARecv 函数的第七个参数为 OVERLAPPED 结构体变量地址值，该值也可以在 GetQueuedCompletionStatus 函数返回时得到。

片段 3：线程的 main 函数

DWORD WINAPI EchoThreadMain(LPVOID pComPort)
{
    HANDLE hComPort = (HANDLE)pComPort;
    SOCKET sock;
    DWORD bytesTrans;
    LPPER_HANDLE_DATA handleInfo;
    LPPER_IO_DATA ioInfo;
    DWORD flags = 0;

    while (1)
    {
        GetQueuedCompletionStatus(hComPort, &bytesTrans, (PULONG_PTR)&handleInfo, (LPOVERLAPPED *)&ioInfo, INFINITE);
 
        sock = handleInfo->hClntSock;

        if (ioInfo->rwMode == READ)
        {
            puts("message received!");
            if (bytesTrans == 0)
            { // 传输 EOF 时
                closesocket(sock);
                free(handleInfo);
                free(ioInfo);
                continue;
            }

            memset(&(ioInfo->overlapped), 0, sizeof(OVERLAPPED));
            ioInfo->wsaBuf.len = bytesTrans;
            ioInfo->rwMode = WRITE;

            WSASend(sock, &(ioInfo->wsaBuf), 1, NULL, 0, &(ioInfo->overlapped), NULL);

            ioInfo = (LPPER_IO_DATA)malloc(sizeof(PER_IO_DATA));
            memset(&(ioInfo->overlapped), 0, sizeof(OVERLAPPED));
            ioInfo->wsaBuf.len = BUF_SIZE;
            ioInfo->wsaBuf.buf = ioInfo->buffer;
            ioInfo->rwMode = READ;

            WSARecv(sock, &(ioInfo->wsaBuf), 1, NULL, &flags, &(ioInfo->overlapped), NULL);
        }
        else
        {
            puts("message sent!");
            free(ioInfo);
        }
    }
    return 0;
}

void ErrorHandling(char *message)
{
    fputs(message, stderr);
    fputc('\n', stderr);
    exit(1);
}

指针 iolnfo 中保存的既是 OVERLAPPED 结构体变量地址值，也是 PER_IO_DATA 结构体变量地址值。因此，可以通过检查 rwMode 成员中的值判断是输入完成还是输出完成。

完整程序：

在这里插入代码片

编译：

gcc IOCPEchoServ_win.c -lws2_32 -o IOCPEchoServ

运行结果：

IOCP 性能更优的原因

1. 因为是非阻塞模式的 I/O，所以不会由 I/O 引发延迟。
2. 查找已完成I/O时无需添加循环。
3. 无需将作为 I/O 对象的套接字句柄保存到数组进行管理。
4. 可以调整处理 I/O 的线程数，所以可在实验数据的基础上选用合适的线程数。

IOCP 是 Windows 特有的功能，所以很大程度上要归功于操作系统。

习题

（1）完成端口对象将分配多个线程用于处理 I/O。如何创建这些线程？如何分配？请从源代码级别进行说明。

（2）

（3）

（4）

（5）

（6）