系统性能故障分析-中断

中断是一种异步事件处理机制,可以提高系统的并发处理能力。中断处理程序会打断其他进程的运行,所以为了减少对正常进程调度的影响,中断处理程序需要尽快的运行。如果中断本身要做的事不多,那么处理起来影响不大,若中断处理的事情较多,中断处理程序就可能需要运行较长时间。特别要注意的是,当中断处理程序在响应中断时,还会临时关闭中断。这就会导致前一个中断处理完毕之前,其他中断都不会响应,也就是中断可能会丢失。因此为了解决中断处理程序执行多长和中断丢失的问题,Linux将中断分为两个阶段:上半部下半部

上半部用来快速处理中断,他在中断禁止模式下运行,主要处理跟硬件紧密相关或时间敏感的工作

下半部用来延迟处理上半部为完成的工作,通常以内核线程的方式运行

举个网卡接受数据包的例子:当网卡接受到数据包后,会通过硬件中断的方式,告诉内核有新的数据到了,这时内核就应该调用中断处理程序来响应,那上半部和下半部分别负责哪些工作?

对上半部来说,既然是快速处理,其实就是把网卡的数据读到内存中,然后更新一下硬件寄存器的状态(表示数据已读完),最后再发一个软中断的信号,通知下半部做进一步的处理;

下半部被软中断信号唤醒后,需要从内存中找到网络数据,在按照网络协议栈,对数据进行逐层解析和处理,直到把它送给应用程序。

这两个阶段可以这样理解:

上半部直接处理硬件请求,也就是我们常说的硬中断,特点是快速执行;

下半部则是由内核触发,也就是我们常说的软中断,特点是延迟执行

实际上上半部会打断CPU正在执行的任务,然后立即处理中断处理程序。而下半部以内核线程的方式执行,并且每个CPU对应一个软中断内核线程,名字为ksoftirqd/CPU编号,比如说,1CPU对应的软中断内核线程为ksoftirqd/1

查看方法:

andy:~ # ps aux|grep softirq

root          3  0.0  0.0      0     0 ?        S    06:42   0:00 [ksoftirqd/0]

root         13  0.0  0.0      0     0 ?        S    06:42   0:00 [ksoftirqd/1]

root         18  0.0  0.0      0     0 ?        S    06:42   0:00 [ksoftirqd/2]

root         23  0.0  0.0      0     0 ?        S    06:42   0:00 [ksoftirqd/3]

root       2659  0.0  0.0   9288  1620 pts/0    S+   07:06   0:00 grep --color=auto softirq

注意:这些线程的名字外面都有中括号,这说明 ps 无法获取它们的命令行参数(cmline)。一般来说,ps 的输出中,名字括在中括号里的,一般都是内核线程。

查看软中断及内核线程

/proc/softirqs   提供了软中断的运行情况

/proc/interrupts 提供了硬中断的运行情况

$ cat /proc/softirqs  #提供了软中断的运行情况:类型 + 中断次数

       CPU0    CPU1

HI:       2       0

TIMER:  13086  12592

NET_TX:  2      29

NET_RX: 1610   1803

BLOCK:  8584   7866

IRQ_POLL:  0     0

TASKLET:   24    59

SCHED:  10279  10218

HRTIMER:  0     0

RCU:    14262   13818

查看出现128个核数据的处理方法

watch -d "/bin/cat /proc/softirqs | /usr/bin/awk 'NR == 1{printf \"%10s %7s %7s %7s %7s\n\",\" \",\$1,\$2,\$3,\$4}; NR > 1{printf \"%10s %7s %7s %7s %7s\n\",\$1,\$2,\$3,\$4,\$5}'"

Every 2.0s: /bin/cat /proc/softirqs | /usr/bin/awk 'NR == 1{printf "%10s %7s %7s %7s...  andy: Thu May 28 22:08:58 2020

 

              CPU0    CPU1    CPU2    CPU3

       HI:       0       0       1       0

    TIMER:   28917   27206   36138   32919

   NET_TX:     530     554       2       2

   NET_RX:     162    5801      61   11956

    BLOCK:    2692   14024    7291    5065

 IRQ_POLL:       0       0       0       0

  TASKLET:      31       0      20      41

    SCHED:   27556   23561   33093   29967

  HRTIMER:       0       0       0       0

      RCU:   37494   34880   36088   3520

要特别注意以下几点:
第一、要注意软中断的类型,软中断包括了10个类别,分别对应不同的工作类型,比如 NET_RX 表示网络接收中断,而 NET_TX 表示网络发送中断

第二、要注意同一种软中断在不同 CPU 上的分布情况,也就是同一行的内容。正常情况下,同一种中断在不同 CPU 上的累积次数应该差不多.比如NET_RXCPU0CPU1上的中断次数应该在同一个数量级。

不过TASKLET 在不同CPU上的分布并不均匀。TASKLET 是最常用的软中断实现机制,每个 TASKLET 只运行一次就会结束 ,并且只在调用它的函数所在的 CPU 上运行。

因此,使用 TASKLET 特别简便,当然也会存在一些问题,比如说由于只在一个CPU上运行导致的调度不均衡,再比如因为不能在多个 CPU 上并行运行带来了性能限制。

使用sar命令并添加 -n DEV参数显示网络收发的报告

root@andy:~# sar -n DEV 1 2

Linux 4.18.0-12-generic (andy)  05/28/20        _x86_64_        (4 CPU)

 

22:12:58        IFACE   rxpck/s   txpck/s    rxkB/s    txkB/s   rxcmp/s   txcmp/s  rxmcst/s   %ifutil

22:12:59        ens39      1.00      0.00      0.09      0.00      0.00      0.00      0.00      0.00

22:12:59        ens38      1.00      0.00      0.09      0.00      0.00      0.00      0.00      0.00

22:12:59           lo      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00

 

22:12:59        IFACE   rxpck/s   txpck/s    rxkB/s    txkB/s   rxcmp/s   txcmp/s  rxmcst/s   %ifutil

22:13:00        ens39      1.00      0.00      0.09      0.00      0.00      0.00      0.00      0.00

22:13:00        ens38      2.00      1.00      0.15      0.85      0.00      0.00      0.00      0.00

22:13:00           lo      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00

 

Average:        IFACE   rxpck/s   txpck/s    rxkB/s    txkB/s   rxcmp/s   txcmp/s  rxmcst/s   %ifutil

Average:        ens39      1.00      0.00      0.09      0.00      0.00      0.00      0.00      0.00

Average:        ens38      1.50      0.50      0.12      0.42      0.00      0.00      0.00      0.00

Average:           lo      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00

从左向右分别为:

第一列:表示报告的时间

第二列:IFACE表示网卡

第三、四列:rxpck/s txpck/s分别表示每秒接受、发送的网络数据帧,也就是PPS

第五、六列:rxkB/s txkB/s分别表示每秒接受、发送的千字节数,也就是BPS


猜你喜欢

转载自blog.51cto.com/13162375/2541853