近期服务器出现大量time_wait的TCP连接造成服务器连接数过多而最终导致tomcat假死状态。连接服务器查看连接数的时候提示如下

[root@ZS_WEB_134 ~]#  netstat -n|awk '/^tcp/{++S[$NF]}END{for (key in S) print key,S[key]}'

TIME_WAIT 1192

CLOSE_WAIT 1

FIN_WAIT2 48

ESTABLISHED 918

SYN_RECV 2

LAST_ACK 3

很明显可以看出是请求太多频繁,主要由于后端服务器之间是通过rest请求相互调用的,而java服务器回收tcp线程速度比较慢,虽然已经有显性的关闭连接了,但是实际在调

用的时候连接回收还是较慢。通过API解决这个问题的路子就堵死了。

后来去服务器查阅了大量资料,可以考虑通过修改内核的方式解决此处问题。解决方法如下:

vim /etc/sysctl.conf 

修改以下参数,如果没有则添加

#解决服务器tcp time_wait过多 

#对于一个新建连接,内核要发送多少个 SYN 连接请求才决定放弃,不应该大于255,默认值是5,对应于180秒左右时间 

net.ipv4.tcp_syn_retries=2

#表示当keepalive起用的时候,TCP发送keepalive消息的频度。缺省是2小时,改为300秒  

net.ipv4.tcp_keepalive_time=1200

net.ipv4.tcp_orphan_retries=3

#表示SYN队列的长度,默认为1024,加大队列长度为8192,可以容纳更多等待连接的网络连接数。  

net.ipv4.tcp_max_syn_backlog = 4096

#表示开启SYN Cookies。当出现SYN等待队列溢出时,启用cookies来处理,可防范少量SYN***。默认为0,表示关闭  

net.ipv4.tcp_syncookies = 1

#表示开启重用tcp连接。允许将TIME-WAIT sockets重新用于新的TCP连接。默认为0,表示关闭  

net.ipv4.tcp_tw_reuse = 1

#表示开启TCP连接中TIME-WAIT sockets的快速回收。默认为0,表示关闭  

net.ipv4.tcp_tw_recycle = 1

#表示如果套接字由本端要求关闭,这个参数决定了它保持在FIN-WAIT-2状态的时间  

net.ipv4.tcp_fin_timeout = 30

##减少超时前的探测次数  

net.ipv4.tcp_keepalive_probes=5

##优化网络设备接收队列  

net.core.netdev_max_backlog=3000

修改完毕后让参数配置生效

 /sbin/sysctl -p