Linux - Sim Wiki

最后修改人	sim
最后修改时间	2022-07-17 22:19:48
创建人	sim
创建时间	2022-05-05 14:40:56

该文档由 sim 创建于 2022-05-05 14:40:56 ， sim 在 2022-07-17 22:19:48 修改了该文档。

[TOCM]

在Linux系统中如果出现了系统性能问题，如何按照去进行相应的排查定位，需要关注哪些指标；我们可以通过一些标准Linux工具来进行定位分析。这里推荐几个工具并附上一些使用方法与指标解读：（部分工具基于sysstat包，如果默认系统没有可以通过yum install -y sysstat进行安装）

**一. top**

top命令是最常用的，一般我们在排查中最先使用的就是top命令，其中也覆盖了相当多的指标，可以进行初步的判断与定位，在top中主要包括几个参数：
- top
1. up：系统持续运行时间
1. user：当前系统中登录的用户
1. load average：基于特定时间内运行队列中的平均进程数计算（cpu占用，队列，io等）的系统平均值，三个值分别代表1分钟，5分钟和15分钟；一个简单算法load average(5m)\CPU核数 > 2 就说明系统较高
1. Task：当前系统的总进程数
1. running：正在运行的进程数
1. sleeping：睡眠的进程数
1. stopped：停止的进程数
1. zombie：僵尸进程数
1. %Cpu类us：用户空间CPU占用百分比，如shell命令，各种应用进程的CPU占用都算是此类
1. sy：内核空间CPU占用百分比，当用户态进程需要使用系统资源时（比如分配内存、执行IO操作、或是去创建一个子进程）就会进入内核态运行，所以在sy指标过大时应着重查看io或者分配资源类操作情况
1. ni：用户空间内改变过优先级的进程CPU占用百分比，如果系统中没有进程被调整过nice值，那么ni就显示为0
1. id：空闲CPU百分比
1. wa：等待输入输出的CPU占用百分比，简单来说就是CPU等待磁盘IO操作的时间；此值偏高时通常系统本身的IO开销会比较大，配合sy参数一起可排查应用IO问题，一般可以用来判断系统IO状况
1. hi：硬中断，是指硬盘、网卡等硬件设备发送给CPU的中断消息的处理时间
1. si：软中断，是由程序发出的中断，最终也会执行相应的处理程序的时间
1. Mem：total物理内存总量（KB）；used已使用的物理内存（KB）；free空闲的物理内存（KB）；buffers内核缓存使用的内存（KB）；
1. Swap：total虚拟内存总量（KB）；used已使用的虚拟内存（KB）；free空闲的虚拟内存（KB）；cached缓存的虚拟内存（KB）
- 进程
1. PID：进程id
1. USER：进程所属用户
1. PR：进程优先级
1. NI：nice值，负值表示高优先级，正值表示低优先级
1. VIRT：进程申请分配的内存值（KB），VIRT包括RES
1. RES：进程实际使用的内存值（KB），不超过VIRT
1. SHR：进程间共享内存值（KB），计算实际进程占用内存公式：RES-SHR
1. S：进程状态(D=不可中断的睡眠状态,R=运行,S=睡眠,T=跟踪/停止,Z=僵尸进程)
1. %CPU：进程使用的CPU的百分比
1. %MEM：进程使用的物理内存百分比
1. TIME+：进程使用的CPU总时间
1. COMMAND：执行的命令

![size:800,1000](/storage/2022/05-05/Z5vTD7FAHptMrwxmxlab0UpBzglf2gxDan7HOzj7.png)

以上是top的一些介绍，在top命令后加上-c参数可以显示进程完整的命令行，在top命令中通过E健可以切换内存默认单位（KB）

------------

**二. vmstat**

vmstat主要用于查看内存，CPU的一些状态，在运行vmstat时使用：vmstat 1 10 表示vmstat每间隔1秒运行一次共运行10次：

**三.iostat**

iostat待更新...

**四.mpstat**

mpstat待更新...

**五.sar**

安装：yum install -y sysstat

- 示例

```shell
1. cpu使用率：sar -u 1 10
1. load负载：sar -q 1 10
1. 内存状态：sar -r 1 10
1. swap状态：sar -W 1 10
1. I/O信息：sar -b 1 10
1. 磁盘状态：sar -d 1 10
1. 进程信息：sar -v 1 10
1. 网卡状态：sar -n DEV 1 10
1. tcp状态：sar -n TCP 1 10
1. udp状态：sar -n UDP 1 10
1. vty统计信息：sar -y 1 10
1. 将统计结果存入二进制文件：sar -u -o cpulog 1 10
1. 查看保存的二进制结果文件：sar -f cpulog
```

- 参数说明

| 参数 | 参数说明 |
| -- | ------ |
| -A  |所有的报告总和   |
| -a  |文件读，写报告   |
| -B  |buffer cache使用情况   |
| -c  |系统调用使用报告   |
| -d  |硬盘使用报告   |
| -g  |有关串口I/O情况   |
| -h  |关于buffer使用统计数字   |
| -m  |IPC消息和信号灯活动   |
| -n  |命名cache   |
| -p  |调页活动   |
| -q  |运行队列和交换队列的平均长度   |
| -R  |报告进程的活动   |
| -r  |没有使用的内存页面和硬盘块   |
| -u  | CPU利用率  |
| -v  |进程，i节点，文件和锁表状态|
|-w|系统交换活动|
|-y|tty设备活动|

- CPU列说明：

1. 若 %iowait 的值过高，表示硬盘存在I/O瓶颈。
1. 若 %idle 的值高但系统响应慢时，有可能是 CPU 等待分配内存，此时应加大内存容量。
1. 若 %idle 的值持续低于1，则系统的 CPU 处理能力相对较低，表明系统中最需要解决的资源是 CPU 。

|列|列说明|
| -- | ------ |
|CPU|all 表示统计信息为所有 CPU 的平均值。|
|%user|显示在用户级别(application)运行使用 CPU 总时间的百分比。|
|%nice|	显示在用户级别，用于nice操作，所占用 CPU 总时间的百分比。|
|%system|	在核心级别(kernel)运行所使用 CPU 总时间的百分比。|
|%iowait|	显示用于等待I/O操作占用 CPU 总时间的百分比。|
|%steal|	管理程序(hypervisor)为另一个虚拟进程提供服务而等待虚拟 CPU 的百分比。|
|%idle|	显示 CPU 空闲时间占用 CPU 总时间的百分比。|

- 平均负载列说明：

1. runq-sz 运行队列的长度（等待运行的进程数，每核的CP不能超过3个）。
1. plist-sz 进程列表中的进程（processes）和线程数（threads）的数量。
1. ldavg-1 最后1分钟的CPU平均负载，即将多核CPU过去一分钟的负载相加再除以核心数得出的平均值，5分钟和15分钟以此类推。
1. ldavg-5 最后5分钟的CPU平均负载。
1. ldavg-15 最后15分钟的CPU平均负载。

- 内存列说明：

1. kbmemfree 空闲的物理内存大小
1. kbmemused 使用中的物理内存大小
1. %memused 物理内存使用率
1. kbbuffers 内核中作为缓冲区使用的物理内存大小，kbbuffers和kbcached:这两个值就是free命令中的buffer和cache.
1. kbcached 缓存的文件大小
1. kbcommit 保证当前系统正常运行所需要的最小内存，即为了确保内存不溢出而需要的最少内存（物理内存+Swap分区）
1. commit 这个值是kbcommit与内存总量（物理内存+swap分区）的一个百分比的值

- swap报告列说明：

1. pswpin/s 每秒从交换分区到系统的交换页面（swap page）数量
1. pswpott/s 每秒从系统交换到swap的交换页面（swap page）的数量

- IO列说明

1. tps 磁盘每秒钟的IO总数，等于iostat中的tps
1. rtps 每秒钟从磁盘读取的IO总数
1. wtps 每秒钟从写入到磁盘的IO总数
1. bread/s 每秒钟从磁盘读取的块总数
1. bwrtn/s 每秒钟此写入到磁盘的块总数

- 磁盘列说明

`DEV 磁盘设备的名称，如果不加-p，会显示dev253-0类似的设备名称，因此加上-p显示的名称更直接`
1. tps：每秒I/O的传输总数
1. rd_sec/s 每秒读取的扇区的总数
1. wr_sec/s 每秒写入的扇区的 总数
1. avgrq-sz 平均每次次磁盘I/O操作的数据大小（扇区）
1. avgqu-sz 磁盘请求队列的平均长度
1. await 从请求磁盘操作到系统完成处理，每次请求的平均消耗时间，包括请求队列等待时间，单位是毫秒（1秒等于1000毫秒），等于寻道时间+队列时间+服务时间
1. svctm I/O的服务处理时间，即不包括请求队列中的时间
1. %util I/O请求占用的CPU百分比，值越高，说明I/O越慢

- 进程列说明

1. dentunusd 在缓冲目录条目中没有使用的条目数量
1. file-nr 被系统使用的文件句柄数量
1. inode-nr 已经使用的索引数量
1. pty-nr 使用的pty数量

- 网络报告二级参数说明

```shell
-n DEV ： 网络接口统计信息。
-n EDEV ： 网络接口错误。
-n IP ： IP数据报统计信息。
-n EIP ： IP错误统计信息。
-n TCP ： TCP统计信息。
-n ETCP ： TCP错误统计信息。
-n SOCK ： 套接字使用。
```