最近在看 UNIX 网络编程，对 I/O 复用这一章讲的 select 很感兴趣。
多进程阻塞 I/O 的 socket 服务
前面的章节服务端处理 socket 的主要方式是多进程阻塞 I/O 的方式，主进程开启一个监听套接字，阻塞于 accept，为每一个客户端的 tcp 连接开启一个进程来处理请求。
父进程调用 fork() 之后，继续 accept 等待下一个请求，并且同时执行 close 来关闭套接字，子进程来处理套接字。
fork() 之后，父进程和子进程的 connfd 指向同一个打开的系统级文件表。
close 一个 TCP 套接字的默认行为是将该套接字标记为已关闭，然后立即返回到调用进程。该套接字描述符不能再由进程使用，不能作为 read/write 的第一个参数。close 只会导致套接字描述符的引用计数减 1，由于子进程的存在，引用计数仍然大于 0。不会引起 TCP 的 FIN 操作。
此后，与客户端的所有交互都在子进程里面来处理。
int
main(int argc, char **argv)
{
int listenfd, connfd;
pid_t childpid;
socklen_t clilen;
struct sockaddr_in cliaddr, servaddr;
void sig_chld(int);
listenfd = Socket(AF_INET, SOCK_STREAM, 0);
bzero(&servaddr, sizeof(servaddr));
servaddr.sin_family = AF_INET;
servaddr.sin_addr.s_addr = htonl(INADDR_ANY);
servaddr.sin_port = htons(SERV_PORT);
Bind(listenfd, (SA *) &servaddr, sizeof(servaddr));
Listen(listenfd, LISTENQ);
Signal(SIGCHLD, sig_chld);
for ( ; ; ) {
clilen = sizeof(cliaddr);
// block io
if ( (connfd = accept(listenfd, (SA *) &cliaddr, &clilen)) < 0) {
if (errno == EINTR)
continue; /* back to for() */
else
err_sys("accept error");
}
if ( (childpid = Fork()) == 0) { /* child process */
Close(listenfd); /* close listening socket */
str_echo(connfd); /* process the request */
exit(0);
}
// 父进程关闭 socket，但是子进程依然
Close(connfd); /* parent closes connected socket */
}
}
$ ps -ef|grep tcpserv
501 79428 50780 0 3:05下午 ttys005 0:00.00 ./tcpserv01
501 79952 79428 0 3:06下午 ttys005 0:00.00 ./tcpserv01
501 82302 80751 0 3:12下午 ttys008 0:00.00 grep --color=auto --exclude-dir=.bzr --exclude-dir=CVS --exclude-dir=.git --exclude-dir=.hg --exclude-dir=.svn tcpserv
dahuang at rp in ~/Code
$ pstree -p79952
-+= 00001 root /sbin/launchd
\-+= 02926 dahuang /Applications/iTerm.app/Contents/MacOS/iTerm2
\-+= 50778 dahuang /Applications/iTerm.app/Contents/MacOS/iTerm2 --server /usr/bin/login -fpl dahuang /Applications/iTerm.app/Conte
\-+= 50779 root /usr/bin/login -fpl dahuang /Applications/iTerm.app/Contents/MacOS/iTerm2 --launch_shell
\-+= 50780 dahuang -zsh
\-+= 79428 dahuang ./tcpserv01
\--- 79952 dahuang ./tcpserv01
dahuang at rp in ~/Code
$ lsof -anP -p 79952
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
tcpserv01 79952 dahuang cwd DIR 1,4 1428 84297379 /Users/dahuang/Code/c/unpv13e/tcpcliserv
tcpserv01 79952 dahuang txt REG 1,4 24380 84355524 /Users/dahuang/Code/c/unpv13e/tcpcliserv/tcpserv01
tcpserv01 79952 dahuang txt REG 1,4 698896 37691632 /usr/lib/dyld
tcpserv01 79952 dahuang txt REG 1,4 662913024 82175106 /private/var/db/dyld/dyld_shared_cache_x86_64h
tcpserv01 79952 dahuang 0u CHR 16,5 0t2162309 1321 /dev/ttys005
tcpserv01 79952 dahuang 1u CHR 16,5 0t2162309 1321 /dev/ttys005
tcpserv01 79952 dahuang 2u CHR 16,5 0t2162309 1321 /dev/ttys005
tcpserv01 79952 dahuang 4u IPv4 0x31562faf59a2aecd 0t0 TCP 127.0.0.1:9877->127.0.0.1:56004 (ESTABLISHED)
dahuang at rp in ~/Code
$ lsof -anP -p 79428
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
tcpserv01 79428 dahuang cwd DIR 1,4 1428 84297379 /Users/dahuang/Code/c/unpv13e/tcpcliserv
tcpserv01 79428 dahuang txt REG 1,4 24380 84355524 /Users/dahuang/Code/c/unpv13e/tcpcliserv/tcpserv01
tcpserv01 79428 dahuang txt REG 1,4 698896 37691632 /usr/lib/dyld
tcpserv01 79428 dahuang txt REG 1,4 662913024 82175106 /private/var/db/dyld/dyld_shared_cache_x86_64h
tcpserv01 79428 dahuang 0u CHR 16,5 0t2162309 1321 /dev/ttys005
tcpserv01 79428 dahuang 1u CHR 16,5 0t2162309 1321 /dev/ttys005
tcpserv01 79428 dahuang 2u CHR 16,5 0t2162309 1321 /dev/ttys005
tcpserv01 79428 dahuang 3u IPv4 0x31562faf500d10bd 0t0 TCP *:9877 (LISTEN)
这种方式有不好的地方，每个进程都是独立的，父进程挂掉之后，子进程依然存在，并且父进程将 PPID 过继给子进程，端口虽然没有在监听，但是依然是开着的。TCP 连接不会断开，每个子进程依然维护着和客户端的连接，能继续进行通信。
$ ./tcpserv01 &
[1] 37437
# 开启一个 telnet 客户端
telnet localhost 9877
dahuang at rp in ~/Code/c/unpv13e/tcpcliserv
$ ps -ef|grep '[t]cpserv01'
501 37437 79439 0 1:46下午 ttys007 0:00.00 ./tcpserv01
501 37454 37437 0 1:47下午 ttys007 0:00.00 ./tcpserv01
dahuang at rp in ~/Code/c/unpv13e/tcpcliserv
$ lsof -i:9877
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
tcpserv01 37437 dahuang 3u IPv4 0x31562faf360195d5 0t0 TCP *:9877 (LISTEN)
telnet 37453 dahuang 5u IPv4 0x31562faf608170bd 0t0 TCP localhost:58901->localhost:9877 (ESTABLISHED)
tcpserv01 37454 dahuang 4u IPv4 0x31562faf58a3c0bd 0t0 TCP localhost:9877->localhost:58901 (ESTABLISHED)
# 杀死父进程
dahuang at rp in ~/Code/c/unpv13e/tcpcliserv
$ kill -9 37437
[1] + 37437 killed ./tcpserv01
# 子进程依然存在
dahuang at rp in ~/Code/c/unpv13e/tcpcliserv
$ lsof -i:9877
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
telnet 37453 dahuang 5u IPv4 0x31562faf608170bd 0t0 TCP localhost:58901->localhost:9877 (ESTABLISHED)
tcpserv01 37454 dahuang 4u IPv4 0x31562faf58a3c0bd 0t0 TCP localhost:9877->localhost:58901 (ESTABLISHED)
TCP/IP 和 Socket 的区别
socket是对TCP/IP协议的封装，Socket本身并不是协议，而是一个调用接口（API），通过Socket，我们才能使用TCP/IP协议
TCP/IP只是一个协议栈，就像操作系统的运行机制一样，必须要具体实现，同时还要提供对外的操作接口。这个就像操作系统会提供标准的编程接口，比如win32编程接口一样，TCP/IP也要提供可供程序员做网络开发所用的接口，这就是Socket编程接口
select
忘了之前在哪看到一句话 On a UNIX system, everying is a file; if something is not a file, it is a process.，在 unix 系统一切都是文件。每个文件都对应有一个文件描述符，在一个进程里面，我们可以通过 lsof -anP -p <pid> 来查看当前进程打开的所有文件。文件描述符是从 0 开始的非负整数。
通过 man 2 select，可以看到 select 可以监控当前进程内的文件。
int select(int nfds, fd_set *restrict readfds, fd_set *restrict writefds, fd_set *restrict errorfds, struct timeval *restrict timeout);
- nfds 表示监听的描述符总数，比所有文件描述符集合中的最大值大 1
- readfds writefds exceptfds 表示可读、可写、异常事件对应的描述符集合
- timeout 用于设置 select 的超时时间，告诉内核等待多长时间之后放弃等待，为 NULL 表示等待无限长时间，超时返回 0 错误返回 -1 >0 则为准备好的描述符个数
通过 fd_set 描述符集合，来维护需要监听的文件。 fd_set 用一个 bit array 来存储文件描述符。 比如 00010001，FD_ISSET(3, &set)，测试文件描述 3 是否在 set 里面，即判断 bit 数组第 4 位是否是 1。 主要有如下几个系统调用：
- FD_ZERO(fd_set *fdset);将指定的文件描述符集清空，在对文件描述符集合进行设置前，必须对其进行初始化，如果不清空，由于在系统分配内存空间后，通常并不作清空处理，所以结果是不可知的。
- FD_SET(fd_set *fdset);用于在文件描述符集合中增加一个新的文件描述符。
- FD_CLR(fd_set *fdset);用于在文件描述符集合中删除一个文件描述符。
- FD_ISSET(int fd,fd_set *fdset);用于测试指定的文件描述符是否在该集合中，不在返回 0。
将感兴趣的描述符注册到 fd_set 里面，当注册的描述符有事件发生或者 select 超时时，函数返回，返回的 fd_set 只包含了发生事件的描述符。我们可以遍历 fd_set 找到对应的描述符，然后处理。
相比之前多进程的方式，我们将监听套接字和客户端套接字全部都注册到 select 里面，然后根据 select() 的返回值来判断是新的客户端连接请求还是正常的客户端数据传输。而且，所有的逻辑在一个进程里面处理就 ok 了。
#include <stdio.h>
#include <stdlib.h>
#include <unistd.h>
#include <errno.h>
#include <string.h>
#include <sys/types.h>
#include <sys/socket.h>
#include <netinet/in.h>
#include <arpa/inet.h>
#define MYPORT 1234 // the port users will be connecting to
#define BACKLOG 5 // how many pending connections queue will hold
#define BUF_SIZE 200
int fd_A[BACKLOG]; // accepted connection fd
int conn_amount; // current connection amount
void showclient()
{
int i;
printf("client amount: %d\n", conn_amount);
for (i = 0; i < BACKLOG; i++)
{
printf("[%d]:%d ", i, fd_A[i]);
}
printf("\n\n");
}
int main(void)
{
int sock_fd, new_fd; // listen on sock_fd, new connection on new_fd
struct sockaddr_in server_addr; // server address information
struct sockaddr_in client_addr; // connector's address information
socklen_t sin_size;
int yes = 1;
char buf[BUF_SIZE];
int ret;
int i;
if ((sock_fd = socket(AF_INET, SOCK_STREAM, 0)) == -1)
{
perror("socket");
exit(1);
}
printf("socket_fd = %d\n", sock_fd);
// 设置 socket 的参数
//arg1 socket 描述符 arg2 基本套接字 arg3 选项名称 arg4 选项值 arg5 选项长度
if (setsockopt(sock_fd, SOL_SOCKET, SO_REUSEADDR, &yes, sizeof(int)) == -1)
{
perror("setsockopt");
exit(1);
}
server_addr.sin_family = AF_INET; // host byte order
server_addr.sin_port = htons(MYPORT); // short, network byte order
server_addr.sin_addr.s_addr = INADDR_ANY; // automatically fill with my IP
memset(server_addr.sin_zero, '\0', sizeof(server_addr.sin_zero));
// 绑定 socket 到地址
if (bind(sock_fd, (struct sockaddr *)&server_addr, sizeof(server_addr)) == -1)
{
perror("bind");
exit(1);
}
// 监听 socket
if (listen(sock_fd, BACKLOG) == -1)
{
perror("listen");
exit(1);
}
printf("listen port %d\n", MYPORT);
fd_set fdsr;
int maxsock;
struct timeval tv;
conn_amount = 0;
sin_size = sizeof(client_addr);
maxsock = sock_fd;
while (1)
{
// initialize file descriptor set
FD_ZERO(&fdsr);
// 将当前监听 socket 描述符放入集合
FD_SET(sock_fd, &fdsr);
// timeout setting
// 设置 select 30s
tv.tv_sec = 30;
tv.tv_usec = 0;
// add active connection to fd set
for (i = 0; i < BACKLOG; i++)
{
if (fd_A[i] != 0)
{
FD_SET(fd_A[i], &fdsr);
}
}
// fd 从 0 开始，所以监听描述符个数为最大的 sock + 1
ret = select(maxsock + 1, &fdsr, NULL, NULL, &tv);
if (ret < 0)
{
perror("select");
break;
}
else if (ret == 0)
{
printf("timeout\n");
continue;
}
// check every fd in the set
for (i = 0; i < conn_amount; i++)
{
if (FD_ISSET(fd_A[i], &fdsr))
{
ret = recv(fd_A[i], buf, sizeof(buf), 0);
// 客户端关闭
if (ret <= 0)
{ // client close
printf("client[%d] close\n", i);
close(fd_A[i]);
FD_CLR(fd_A[i], &fdsr);
fd_A[i] = 0;
}
else
{ // receive data
if (ret < BUF_SIZE)
memset(&buf[ret], '\0', 1);
printf("client[%d] send:%s\n", i, buf);
}
}
}
// check whether a new connection comes
if (FD_ISSET(sock_fd, &fdsr))
{
new_fd = accept(sock_fd, (struct sockaddr *)&client_addr, &sin_size);
if (new_fd <= 0)
{
perror("accept");
continue;
}
// add to fd queue
if (conn_amount < BACKLOG)
{
fd_A[conn_amount++] = new_fd;
printf("new connection client[%d] %s:%d\n", conn_amount,
inet_ntoa(client_addr.sin_addr), ntohs(client_addr.sin_port));
if (new_fd > maxsock)
maxsock = new_fd;
}
else
{
printf("max connections arrive, exit\n");
send(new_fd, "bye", 4, 0);
close(new_fd);
break;
}
}
showclient();
}
// close other connections
for (i = 0; i < BACKLOG; i++)
{
if (fd_A[i] != 0)
{
close(fd_A[i]);
}
}
exit(0);
}
$ ./tcpservselect01&
[1] 41696
# 另起两个窗口开启两个客户端
$ nc localhost 9877
$ nc localhost 9877
dahuang at rp in ~/Code/c/unpv13e/tcpcliserv
$ lsof -anP -p 41696
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
tcpservse 41696 dahuang cwd DIR 1,4 1496 84297379 /Users/dahuang/Code/c/unpv13e/tcpcliserv
tcpservse 41696 dahuang txt REG 1,4 28324 84392020 /Users/dahuang/Code/c/unpv13e/tcpcliserv/tcpservselect01
tcpservse 41696 dahuang txt REG 1,4 698896 37691632 /usr/lib/dyld
tcpservse 41696 dahuang txt REG 1,4 662913024 82175106 /private/var/db/dyld/dyld_shared_cache_x86_64h
tcpservse 41696 dahuang 0u CHR 16,7 0t349236 1371 /dev/ttys007
tcpservse 41696 dahuang 1u CHR 16,7 0t349236 1371 /dev/ttys007
tcpservse 41696 dahuang 2u CHR 16,7 0t349236 1371 /dev/ttys007
tcpservse 41696 dahuang 3u IPv4 0x31562faf608182ad 0t0 TCP *:9877 (LISTEN)
tcpservse 41696 dahuang 4u IPv4 0x31562faf50a087c5 0t0 TCP 127.0.0.1:9877->127.0.0.1:59943 (ESTABLISHED)
tcpservse 41696 dahuang 5u IPv4 0x31562faf390712ad 0t0 TCP 127.0.0.1:9877->127.0.0.1:59947 (ESTABLISHED)