Linux网络编程-IO复用技术
发布日期:2021-08-25 04:21:27 浏览次数:1 分类:技术文章

本文共 10888 字,大约阅读时间需要 36 分钟。

IO复用是Linux中的IO模型之一,IO复用就是进程预先告诉内核需要监视的IO条件,使得内核一旦发现进程指定的一个或多个IO条件就绪,就通过进程进程处理,从而不会在单个IO上阻塞了。Linux中,提供了select、poll、epoll三种接口函数来实现IO复用。

 

1、select函数

#include 
#include
int select(int nfds, fd_set *readfds, fd_set *writefds, fd_set *exceptfds, struct timeval *timeout); // 返回:若有就绪描述符则为其个数,超时为0,出错-1

nfds参数指定了被监听文件描述符的个数,通常设置为监听的所有描述符最大值加1,因为文件描述符是从0开始的。readfs、writefds和exceptfds分别对应可读、可写和异常等事件文件描述符集合,当调用select时,通过这3个参数传入自己感兴趣的文件描述符,select函数返回后,内核通过修改他们来通知应用程序那些文件描述符已经就绪。

fd_set结构体包含一个整形数组,该数组中每一个元素的每一位标记一个文件描述符,fd_set容纳的文件描述符数量由FD_SETSIZE指定,这就限制了select能同时处理的文件描述符最大个数。通过一些宏来操作fd_set结构体中的位:

#include 
FD_ZERO(fd_set *fdset); /* 清除fdset所有标志位 */ FD_SET(int fd, fd_set fdset); /* 设置fdset标志位fd */ FD_CLR(int fd, fd_set fdset); /* 清除fdset标志位fd */ int FD_ISSET(int fd, fd_set *fdset); /* 测试fdset的位fd是否被设置 */

timeout参数用来设置select的超时时间,它是一个timeval结构类型指针,采用指针参数是应为内核将修改它以告诉应用程序select等待了多久。不过我们不能完全信任select调用返回的timeout值,比如调用失败后timeout的值是不确定的。

struct timeval  {      long tv_sec;    //秒数      long tv_usec;   //微秒数  };

select提供了一个微妙的定时方案,如果给timeval的成员都赋值0,则select将立即返回;如果timeout为NULL,则select将一直阻塞,直到某个文件描述符就绪。select成功时返回就绪的文件描述符的总数,如果在超时时间内没有任何描述符就绪,select返回0,select失败返回-1并设置errno。如果在select等待期间,程序收到信号,则select立即返回-1,并设置errno为EINTR。

select缺点:

  • 每次调用select,都需要把fd集合从用户态拷贝到内核态,这个开销在fd很多时会很大
  • 每次调用select都需要在内核遍历传递进来的所有fd,这个开销在fd很多时也很大
  • select支持的文件描述符数量太小了,默认是1024

select测试用例:

#include 
#include
#include
#include
#include
#include
#include
using namespace std;int getMaxNumOfVector(vector
&fds);vector
flipVector(vector
&fds);int main(int argc, char **argv){ vector
fds; int listenfd, connfd; struct sockaddr_in servaddr; listenfd = socket(AF_INET, SOCK_STREAM, 0); memset(&servaddr, 0, sizeof(servaddr)); servaddr.sin_family = AF_INET; servaddr.sin_port = htons(8080); servaddr.sin_addr.s_addr = INADDR_ANY; bind(listenfd, (struct sockaddr *)&servaddr, sizeof(servaddr)); listen(listenfd, 5); fd_set read_fd; fd_set write_fd; fd_set except_fd; char buff[1024]; FD_ZERO(&read_fd); FD_ZERO(&write_fd); FD_ZERO(&except_fd); fds.push_back(STDIN_FILENO); fds.push_back(listenfd); bool running = true; while (running) { buff[0] = '\0'; /** * 每次调用select都要重新初始化read_fd和except_fd中的文件描述符集 */ for (int i = 0; i < fds.size(); i++) { FD_SET(fds[i], &read_fd); if ((fds[i] != STDIN_FILENO) && (fds[i] != listenfd)) { //FD_SET(fds[i], &write_fd); FD_SET(fds[i], &except_fd); } } int event_num = select(getMaxNumOfVector(fds) + 1, &read_fd, &write_fd, &except_fd, NULL); if (event_num < 0) { cerr << "select error" << endl; break; } for (int i = 0; i < fds.size(); i++) { if (fds[i] == STDIN_FILENO) { // 从STDIN_FILENO中读取数据 if (FD_ISSET(STDIN_FILENO, &read_fd)) { cin >> buff; if (strcmp(buff, "quit") == 0) { running = false; break; } else { cout << buff << endl; } } } else if (fds[i] == listenfd) { if (FD_ISSET(listenfd, &read_fd)) { connfd = accept(listenfd, NULL, NULL); if (connfd < 0) { running = false; break; } fds.push_back(connfd); cout << "往fds添加 " << connfd << ", fds.size: " << fds.size() << endl; } } else { if (FD_ISSET(fds[i], &read_fd)) { int len = recv(fds[i], buff, sizeof(buff) - 1, 0); if (len < 0) { cerr << "recv error" << endl; } else if (len == 0) { cout << "从fds删除 " << fds[i] << endl; // 客户端断开了连接 fds[i] = -1; } else { buff[len] = '\0'; cout << fds[i] << " recv: " << buff << endl; } } else if (FD_ISSET(fds[i], &write_fd)) { } else if (FD_ISSET(fds[i], &except_fd)) { } } } fds = flipVector(fds); } // 关闭文件描述符 for (int i = 0; i < fds.size(); i++) { close(fds[i]); } close(listenfd); return 0;}int getMaxNumOfVector(vector
&fds){ int result = 0; for (int i = 0; i < fds.size(); i++) { if (fds[i] > result) { result = fds[i]; } } return result;}vector
flipVector(vector
&fds) { vector
fdsnew; for (int i = 0; i < fds.size(); i++) { if (fds[i] != -1) { fdsnew.push_back(fds[i]); } } return fdsnew;}

 

poll函数

#include 
int poll(struct pollfd *fds, nfds_t nfds, int timeout); // 返回:若有就绪描述符则为其数目,超时为0,出错-1

poll系统调用和select类似,也是在一定时间内轮询一定数量的文件描述符,测试是否有就绪者。nfds参数指定被监听事件集合fds的大小,timeout指定poll的超时值,单位为毫秒,当timeout为-1时,poll调用将一直阻塞,直到某个事件发生;当timeout为0时,poll调用马上返回。

pollfd结构体

struct pollfd  {      int fd;         /* 文件描述符 */      short events;       /* 注册的事件 */      short revents;      /* 实际发生的事件,有内核填充 */  };

poll支持的事件类型:

poll函数测试用例,监听多个socket连接和终端输入,当在终端中输入quit时退出程序:

#include 
#include
#include
#include
#include
#include
#include
#include
#include
using namespace std;vector
flipVector(vector
&fds);struct pollfd *getPollfd(vector
&fds, int *ppoll_size);int main(int argc, char **argv){ int listenfd, connfd; struct sockaddr_in servaddr; listenfd = socket(AF_INET, SOCK_STREAM, 0); memset(&servaddr, 0, sizeof(servaddr)); servaddr.sin_family = AF_INET; servaddr.sin_port = htons(8080); servaddr.sin_addr.s_addr = INADDR_ANY; bind(listenfd, (struct sockaddr *)&servaddr, sizeof(servaddr)); listen(listenfd, 5); struct pollfd poll_fd; vector
fds; poll_fd.fd = STDIN_FILENO; poll_fd.events = POLLIN; fds.push_back(poll_fd); poll_fd.fd = listenfd; poll_fd.events = POLLIN; fds.push_back(poll_fd); char buff[1024]; struct pollfd *ppoll = NULL; int poll_size = 0; ppoll = getPollfd(fds, &poll_size); bool running = true; while (running) { int oldSize = fds.size(); buff[0] = '\0'; int event_num = poll(ppoll, poll_size, -1); if (event_num < 0) { cerr << "select error" << endl; break; } int fds_size = fds.size(); for (int i = 0; i < fds_size; i++) { if (ppoll[i].fd == STDIN_FILENO) { // 从STDIN_FILENO中读取数据 if (ppoll[i].revents & POLLIN) { cin >> buff; if (strcmp(buff, "quit") == 0) { running = false; break; } else { cout << buff << endl; } } } else if (ppoll[i].fd == listenfd) { if (ppoll[i].revents & POLLIN) { connfd = accept(listenfd, NULL, NULL); if (connfd < 0) { running = false; break; } poll_fd.fd = connfd; poll_fd.events = POLLIN; fds.push_back(poll_fd); cout << "往fds添加 " << connfd << ", fds.size: " << fds.size() << endl; } } else { if (ppoll[i].revents & POLLIN) { int len = recv(ppoll[i].fd, buff, sizeof(buff) - 1, 0); if (len < 0) { cerr << "recv error" << endl; } else if (len == 0) { cout << "从fds删除 " << fds[i].fd << endl; // 客户端断开了连接 fds[i].events = 0; fds[i].fd = -1; } else { buff[len] = '\0'; cout << fds[i].fd << " recv: " << buff << endl; } } } } fds = flipVector(fds); if (oldSize != fds.size()) { free(ppoll); ppoll = getPollfd(fds, &poll_size); } } // 关闭文件描述符 for (int i = 0; i < fds.size(); i++) { if (fds[i].fd != -1) { close(fds[i].fd); } } close(listenfd); return 0;}struct pollfd *getPollfd(vector
&fds, int *ppoll_size){ struct pollfd *poll = (struct pollfd *) malloc(fds.size() * sizeof(struct pollfd)); for (int i = 0; i < fds.size(); i++) { poll[i].fd = fds[i].fd; poll[i].events = fds[i].events; } *ppoll_size = fds.size(); return poll;}vector
flipVector(vector
&fds) { vector
fdsnew; for (int i = 0; i < fds.size(); i++) { if (fds[i].fd != -1) { fdsnew.push_back(fds[i]); } } return fdsnew;}

 

epoll系列函数

epoll是Linux特有的IO复用函数,它在实现和使用上与select和poll有很大差异,首先,epoll使用一组函数来完成操作,而不是单个函数。其次,epoll把用户关心的文件描述符上的事件放在内核上的一个事件表中,从而无须像select和poll那样每次调用都要重复传入文件描述符集合事件表。但epoll需要使用一个额外的文件描述符,来唯一标识内核中这个事件表,这个文件描述符使用如下epoll_create函数创建:

#include 
int epoll_create(int size); // 返回:成功返回创建的内核事件表对应的描述符,出错-1

size参数现在并不起作用,只是给内核一个提示,告诉它内核表需要多大,该函数返回的文件描述符将用作其他所有epoll函数的第一个参数,以指定要访问的内核事件表。用epoll_ctl函数操作内核事件表

#include 
int epoll_ctl(int opfd, int op, int fd, struct epoll_event *event);

返回:成功返回0,出错-1

         fd参数是要操作的文件描述符,op指定操作类型,操作类型有3种

  • EPOLL_CTL_ADD:往事件表中注册fd上的事件
  • EPOLL_CTL_MOD:修改fd上的注册事件
  • EPOLL_CTL_DEL:删除fd上的注册时间

event指定事件类型,它是epoll_event结构指针类型

struct epoll_event  {      __uint32_t events;  /* epoll事件 */      epoll_data_t data;  /* 用户数据 */  };

其中events描述事件类型,epoll支持的事件类型和poll基本相同,表示epoll事件类型的宏是在poll对应的宏加上”E”,比如epoll的数据可读事件是EPOLLIN,但epoll有两个额外的事件类型-EPOLLET和EPOLLONESHOT,它们对于高效运作非常关键,data用于存储用户数据,其类型epoll_data_t定义如下:

typedef union epoll_data  {      void *ptr;      int fd;      uint32_t u32;      uint64_t u64;  }epoll_data_t;

epoll_data_t是一个联合体,其4个成员最多使用的是fd,它指定事件所从属的目标文件描述符,ptr成员可用来指定fd相关的用户数据,但由于opoll_data_t是一个联合体,我们不能同时使用fd和ptr,如果要将文件描述符嗯哼用户数据关联起来,以实现快速的数据访问,则只能使用其他手段,比如放弃使用fd成员,而在ptr指针指向的用户数据中包含fd。

#include 
int epoll_wait(int epfd, struct epoll_event *events, int maxevents, int timeout); // 返回:成功返回就绪的文件描述符个数,出错-1

timeout参数的含义与poll接口的timeout参数相同,maxevents参数指定最多监听多少个事件,它必须大于0。

epoll_wait如果检测到事件,就将所有就绪的事件从内核事件表(由epfd指定)中复制到events指定的数组中,这个数组只用来输epoll_wait检测到的就绪事件,而不像select和poll的参数数组既传递用于用户注册的事件,有用于输出内核检测到就绪事件,这样极大提高了应用程序索引就绪文件描述符的效率。

epoll函数测试用例,监听多个socket连接和终端输入,当在终端中输入quit时退出程序:

#include 
#include
#include
#include
#include
#include
#include
#include
#include
#include
#include
using namespace std;void addfd(int epollfd, int fd){ epoll_event event; event.data.fd = fd; event.events = EPOLLIN; epoll_ctl(epollfd, EPOLL_CTL_ADD, fd, &event);}void delfd(int epollfd, int fd){ epoll_event event; event.data.fd = fd; event.events = EPOLLIN; epoll_ctl(epollfd, EPOLL_CTL_DEL, fd, &event);}int main(int argc, char **argv){ int listenfd, connfd; struct sockaddr_in servaddr; listenfd = socket(AF_INET, SOCK_STREAM, 0); memset(&servaddr, 0, sizeof(servaddr)); servaddr.sin_family = AF_INET; servaddr.sin_port = htons(8080); servaddr.sin_addr.s_addr = INADDR_ANY; bind(listenfd, (struct sockaddr *)&servaddr, sizeof(servaddr)); listen(listenfd, 5); int epollfd = epoll_create(32); if (epollfd < 0) { cerr << "epoll_create error" << endl; exit(-1); } addfd(epollfd, STDIN_FILENO); addfd(epollfd, listenfd); epoll_event events[32]; char buff[1024]; bool running = true; while (running) { buff[0] = '\0'; int event_num = epoll_wait(epollfd, events, 32, -1); if (event_num < 0) { cerr << "epoll_wait error" << endl; break; } for (int i = 0; i < event_num; i++) { int fd = events[i].data.fd; int event = events[i].events; if (fd == STDIN_FILENO) { // 从STDIN_FILENO中读取数据 if (event & EPOLLIN) { cin >> buff; if (strcmp(buff, "quit") == 0) { running = false; break; } else { cout << buff << endl; } } } else if (fd == listenfd) { if (event & EPOLLIN) { connfd = accept(listenfd, NULL, NULL); if (connfd < 0) { running = false; break; } addfd(epollfd, connfd); cout << "往epoll添加 " << connfd << endl; } } else { if (event & EPOLLIN) { int len = recv(fd, buff, sizeof(buff) - 1, 0); if (len < 0) { cerr << "recv error" << endl; } else if (len == 0) { cout << "从epoll删除 " << fd << endl; // 客户端断开了连接 delfd(epollfd, fd); } else { buff[len] = '\0'; cout << fd << " recv: " << buff << endl; } } } } } // 关闭文件描述符 close(listenfd); return 0;}

 

参考:

  1、《UNIX网络编程》IO复用章节

  2、 

转载地址:https://blog.csdn.net/weixin_33843947/article/details/85843862 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!

上一篇:python 3.5.2 install pillow
下一篇:[OSG]OpenSceneGraph FAQ 以及OSG资源

发表评论

最新留言

逛到本站,mark一下
[***.202.152.39]2024年03月12日 03时14分33秒

关于作者

    喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!

推荐文章

c语言调存储过程,写留言板–调用存储过程出问题 2019-04-21
c语言编程max,C语言编程题及答案.doc 2019-04-21
android测试页面,自动执行界面测试 | Android 开发者 | Android Developers 2019-04-21
android 图片点击变色,Android开发实现ListView点击item改变颜色功能示例 2019-04-21
android增删改查布局,Android之父_增删改查 2019-04-21
vowifi android开关,如何配置VoLTE, ViLTE and VoWifi(IMS config for VoLTE, ViLTE and VoWifi) 2019-04-21
电脑端的mafsvr服务关掉_网吧才是电脑优化的精髓!学会3招你也不用羡慕网吧的流畅了... 2019-04-21
html获取文件路径_HTML 文件路径 2019-04-21
mysql滴的一声就关了_关于mysql数据库在输入密码后,滴的一声直接退出界面的解决办法(详细办法)... 2019-04-21
mysql in 有序_mysql中的in排序 mysql按in中顺序来排序 2019-04-21
mysql 行转列 显示_mysql 行转列 (结果集以坐标显示) 2019-04-21
mysql 完全备份恢复吗_MySQL完全备份与恢复 2019-04-21
wpf 绘制矩形_WPF制作倒影效果 2019-04-21
mariadb mysql 5.7_MariaDB 10.1 和 MySQL 5.7 在普通商用硬件上的表现 2019-04-21
由于连接方在一段时间后没有正确答复或连接的主机_新风换气机使用效果不佳,为何?掌握正确使用方法就好了... 2019-04-21
mysql数据库断电恢复_MySQL数据库InnoDB引擎下服务器断电数据恢复方法 2019-04-21
python入门程序异常_Python 入门 之 异常处理 2019-04-21
python 键盘输入int_Python编程 Python如何获取数据 2019-04-21
h3c trunk口改access_H3CNE配置VLAN的Access链路端口和Trunk链路端口 2019-04-21
mysql 查询姓王_MySQL查询语句练习题,测试足够用了 2019-04-21