Linux - Sim Wiki

最后修改人	sim
最后修改时间	2025-07-14 09:51:53
创建人	sim
创建时间	2022-04-13 16:00:45

该文档由 sim 创建于 2022-04-13 16:00:45 ， sim 在 2025-07-14 09:51:53 修改了该文档。

[TOCM]

- 一直以来ulimit一直被当作linux系统内核优化的一个重要手段，事实上也确实如此，但是网上的优化参数互相转载引用，很多数据参数在应用时并没有完全理解其含义或者在当时的环境下并无法衡量出它的真实上限影响。比如从以下的2个常见的问题展开：

1. 最常见的openfile最大打开句柄参数，网上大多数的优化配置中这个参数都是65535；那为什么会是65535呢？依据从何而来？65535就是openfile的最大值了么？

1. 又比如在有些应用场景中我们限制了openfile为65535，根据网上给出的统计句柄数的命令 `lsof -u deploy |wc -l` 统计发现显示有120000+，但是仍然能够切换进该deploy用户创建句柄，不是应该在到达65535后提示到达最大limit限制无法创建了么？
------------
- 首先对于第一个问题`ulimit -n 65535`这个优化参数年月已经非常之久，基本上可以追溯到我入行之前......这个65535的上限值我个人推测可能是直接复制了系统最大打开端口数的数值，因TCP端口号是16位无符号整数，去除一个16位系统保留后所分配的最大值即2^16-1=65535，所能提供给用户的最大数即65535，而且当年openfile 65535也确实完全够满足当时的需求，所以这个参数一直被无脑流传了十多年，但是如今系统实际生产环境中某些应用对句柄的要求早已经超过了所谓的65535的最大值，所以需要理清的第一个概念就是openfile 65535并不是真实的上限值。

- 对于第二个问题，明明已经超过了65535的限制，为什么还能继续打开句柄，这里面就要普及下ulimit的参数基础知识
```shell
 -a 　显示目前资源限制的设定。
 -c 　设定core文件的最大值，单位为区块。
 -d 　程序数据节区的最大值，单位为KB。
 -f 　shell所能建立的最大文件，单位为区块。
 -H 　设定资源的硬性限制，也就是管理员所设下的限制。
 -m 　指定可使用内存的上限，单位为KB。
 -n 　指定同一时间最多可开启的文件数。
 -p 　指定管道缓冲区的大小，单位512字节。
 -s 　指定堆叠的上限，单位为KB。
 -S 　设定资源的弹性限制。
 -t 　指定CPU使用时间的上限，单位为秒。
 -u 　用户最多可开启的进程数目。
 -v 　指定可使用的虚拟内存上限，单位为KB。
```
openfile，即 ulimit -n 65535 指的是单进程最大可打开句柄数65535，那如上面第二个问题中 `lsof -u deploy |wc -l` 得出120000+的情况时，所统计的是指deploy所打开的句柄数，而非单一某个进程所打开的句柄数。那如何去判断这个用户所打开的最大句柄数呢？公式如下：
- `(max user processes) * (max open files)`即`(ulimit -u) * (ulimit -n)`

所以，就算第二个问题中deploy用户总打开句柄已经达到120000+但是还是能继续打开的原因是：
1. 没有超过用户最大句柄限制，即(max user processes) * (max open files)
1. 单进程没有超过最大句柄限制，即openfile 65535
1. 没有超过max user processes最大进程上限

因此才能继续创建句柄，所以在统计句柄时应该根据lsof中相同pid号的总和进行统计，比如：`lsof -u deploy|awk '{print $2}'|uniq -c|sort -nr|head -10` 统计打开句柄数最多的10个进程。

其次在限制参数中除了需要关注最大句柄数，还需要关注下最大进程数，`lsof -u deploy|awk '{print $2}'|uniq -c|wc -l`是否到达了max user processes最大进程上限。

- 在ulimit参数的设置上有几点需要注意，
1. 参数设置的临时生效与永久生效：
```shell
永久生效：修改配置文件 /etc/sysctl.conf 或 /etc/security/*.conf
临时生效：ulimit -SHn 65535
```
1. 参数设置的应用用户级别，在参数设置时root与其它用户的配置是分开的，在limit.conf文件中可以明显看出区别，所以在配置时需要额外关注下
1. 参数配置的优先级：
```shell
ulimit命令 > /etc/security/*.conf配置文件 > /etc/sysctl.conf配置文件
内置ulimit设置 > 运行用户的系统ulimit设置 
```

- 最后ulimit配置中有几个关键词需要理解下，即hard，soft和unlimited：
```shell
hard，即硬限制（hard limit）被设置以后就不能被非root用户修改，ulimit -H表示
soft，即软限制（soft limit）任意用户可以在硬限制的范围内进行调节，ulimit -S表示
unlimited，在ulimit设置中除了设置整数就是设置unlimited即不限制参数
```

- 在Linux内核中TCP socket的缓冲设置参数的一些简单解读,比如：
```
net.core.rmem_default = 8388608 #默认的接收缓冲区大小为8MB
net.core.rmem_max = 16777216 #接收缓冲区最大上限为 16MB
net.ipv4.tcp_rmem = 4096        87380   16777216 #对应TCP接收窗口自动调节的最小，默认，最大值
```
其中 TCP窗口自动调节中的三个值，需要对应rmem或者wmem中的min，default和max三个值。max值最大调节上限为16MB；如果参数设小了，在高并发下可能会出现：
1. tcp buffer吃满
2. 系统网络应用处理不及时
3. kernel出现丢包（receive drop等）