Nginx报Too Many Open Files总结

最近有台nginx服务器(Linux环境)运行的错误日志，提示“Too many open files”，本文整理下我个人总结的解决方法：
1、检查当前nginx服务master 进程和 worker 进程的文件句柄限制
（1）在 Nginx 运行时，检查当前 master 进程的限制：

cat /proc/$(cat /var/run/nginx.pid)/limits|grep open.files

Max open files            1024                 4096                 files

（2）检查 worker 进程：

ps --ppid $(cat /var/run/nginx.pid) -o %p|sed '1d'|xargs -I{} cat /proc/{}/limits|grep open.files

Max open files            1024                 4096                 files     
Max open files            1024                 4096                 files 
Max open files            1024                 4096                 files 
Max open files            1024                 4096                 files

我们知道系统每打开一个文件，都会占用一个文件描述符，而系统打开文件描述符是有上限的。在centos下默认值一般为1024，可以通过命令查看：

# ulimit -n
1024
# ulimit -a
open files                      (-n) 1024

2、首先确定下系统内核允许文件打开数量的上限(内核级别的，默认值为95086)

# sysctl -n -e fs.file-max
95086

调整方法：
# vi /etc/sysctl.conf
fs.file-max = 6815744
# sysctl -p
其他：比如限制fs.file-max最多只能使用内存的10%
# grep -r MemTotal /proc/meminfo | awk '{printf("%d\n",$2/10)}'

有关系统核心配置可以查看相应的man手册：man sysctl，man sysctl.conf。
3、修改/etc/security/limits.conf文件，设置打开的文件数量上限。(系统级别的)

# vi /etc/security/limits.conf
*      soft    nofile  65535
*      hard    nofile  65535
*      soft    nproc   65535
*      hard    nproc   65535

其中第一行soft表示所有用户打开文件的数量限制为65535，如果超过这个数字则提示警告信息，但是依然可以打开文件。
第二行hard表示最大的打开文件数量不能超过65535，如果超过这个数字，则无法打开文件。
这里也可以针对具体的用户进行相应的设定。例如针对nginx用户进行设定：

nginx soft nofile 65535
nginx hard nofile 65535

修改完这里之后，退出shell重新登录下机器查看

# ulimit -n
65535
# ulimit -a
open files                      (-n) 65535

注意：
1）、nofile代表文件句柄数量；soft nofile的值不能超过hard nofile的值
2）、如果修改完成，查看ulimit -n与ulimit -a显示的结果依然是1024，排查如下：
（1）需要查看/etc/profile配置是否有设定ulimit相关配置，/etc/profile环境变量里的参数配置最优先，会覆盖limits.conf 里的配置
（2）在Centos7系统中，使用Systemd替代了之前的SysV。/etc/security/limits.conf文件的配置作用域缩小了。/etc/security/limits.conf的配置，只适用于通过PAM认证登录用户的资源限制，它对systemd的service的资源限制不生效。因此登录用户的限制，通过/etc/security/limits.conf与/etc/security/limits.d下的文件设置即可。
对于systemd service的资源设置，则需修改全局配置，全局配置文件放在/etc/systemd/system.conf和/etc/systemd/user.conf，同时也会加载两个对应目录中的所有.conf文件/etc/systemd/system.conf.d/.conf和/etc/systemd/user.conf.d/.conf。system.conf是系统实例使用的，user.conf是用户实例使用的。

# vi /etc/systemd/system.conf
DefaultLimitNOFILE=100000
DefaultLimitNPROC=65535

（3）如果还是不生效修改配置sshd_config，编辑login、system-auth、sshd文件添加pam_limits.so

# vi /etc/ssh/sshd_config
UsePAM yes
# systemctl restart sshd

# vi /etc/pam.d/login
# vi /etc/pam.d/system-auth
# vi /etc/pam.d/sshd

session   required     pam_limits.so

3）、如果上述的方法均无法解决，可以直接将 ulimit -SHn 65536 配置到nginx启动脚本中（注意按第4点在nginx.conf配置文件中增加打开文件数量上限后操作。）

# vi /etc/init.d/nginx
ulimit  -SHn  65536
或是
# vi /usr/lib/systemd/system/nginx
ulimit  -SHn  65536
重新加载系统服务
# systemctl daemon-reload
# systemctl restart nginx

最后确认nginx主进程与work进程的文件打开数

# cat /proc/$(cat /var/run/nginx.pid)/limits|grep open.files
# ps --ppid $(cat /var/run/nginx.pid) -o %p|sed '1d'|xargs -I{} cat /proc/{}/limits|grep open.files

4、修改nginx配置文件，设置打开文件数量上限。（程序级别的）
在nginx.conf配置文件中增加如下设置：

# vi nginx.conf
worker_rlimit_nofile 65535;

该参数表示每个工作进程可以打开的文件数量。作用域和worker_processes一样。
修改了nginx文件，需要reload一下。
以上就是个人总结的关于nginx错误日志中提示“Too many open files”的问题处理方法，如果你还有其他更好的方法，欢迎补充。
nginx的安装部署请查看文章：
nginx1.19.1自动安装部署
nginx安装与调优部署