服务器常见参数监测及调优(一)
调优的步骤：
确定应用类型
IO密集型：数据库
CPU密集型：动态页面的web服务器
建立基准数据
安装监控工具
发现问题，发掘原因，调整-->观察--->调整
调优的准则：
有目的的去调优。
一次只对一个领域进行调整。
每次只改一个设置。
建议采用两种以上性能测试工具。
经验很重要。
CPU子系统
CPU 的占用主要取决于什么样的资源正在 CPU 上面运行，
比如拷贝一个文件通常占用较少 CPU，因为大部分工作是由 DMA(Direct Memory Access)完成，
只是在完成拷贝以后给一个中断让CPU知道拷贝已经完成
科学计算通常占用较多的 CPU，大部分计算工作都需要在 CPU 上完成，内存、硬盘等子系统只做暂时的数据存储工作
要想监测和理解 CPU 的性能需要知道一些的操作系统的基本知识，比如：中断、进程调度、进程上下文切换、可运行队列等
CPU 很无辜，是个任劳任怨的打工仔，每时每刻都有工作在做(进程、线程)并且自己有一张工作清单(可运行队列)，
由老板(进程调度)来决定他该干什么，他需要和老板沟通以便得到老板的想法并及时调整自己的工作(上下文切换)，
部分工作做完以后还需要及时向老板汇报(中断)，
所以打工仔(CPU)除了做自己该做的工作以外，还有大量时间和精力花在沟通和汇报上。
CPU 也是一种硬件资源，和任何其他硬件设备一样也需要驱动和管理程序才能使用，我们可以把内核的进程调度看作是 CPU 的管理程序，
用来管理和分配 CPU 资源，合理安排进程抢占 CPU，并决定哪个进程该使用 CPU、哪个进程该等待
操作系统内核里的进程调度主要用来调度两类资源：进程(或线程)和中断，进程调度给不同的资源分配了不同的优先级，优先级最高的是硬件中断，其次是内核(系统)进程，最后是用户进程。
每个 CPU 都维护着一个可运行队列，用来存放那些可运行的线程。
线程要么在睡眠状态(blocked 正在等待 IO)要么在可运行状态，如果 CPU 当前负载太高而新的请求不断，
就会出现进程调度暂时应付不过来的情况，这个时候就不得不把线程暂时放到可运行队列里。
打工仔接受和完成多少任务并向老板汇报了(中断);
打工仔和老板沟通、协商每项工作的工作进度(上下文切换);
打工仔的工作列表是不是都有排满(可运行队列);
打工仔工作效率如何，是不是在偷懒(CPU 利用率)。
现在把打工仔换成 CPU，我们可以通过查看这些重要参数：中断、上下文切换、可运行队列、CPU 利用率来监测 CPU 的性能。
那么监测 CPU 性能的底线是什么呢?通常我们期望我们的系统能到达以下目标：
CPU 利用率，如果 CPU 有 100% 利用率，那么应该到达这样一个平衡：65%-70% User Time，30%-35% System Time，0%-5% Idle Time;
上下文切换，上下文切换应该和 CPU 利用率联系起来看，如果能保持上面的 CPU 利用率平衡，大量的上下文切换是可以接受的;
可运行队列，每个可运行队列不应该有超过1-3个线程(每处理器)，比如：双处理器系统的可运行队列里不应该超过6个线程。
查看cpu信息
# cat /proc/cpuinfo
# dmidecode --type processor
# dmidecode --type cache
中断 设备通知内核，完成了一次数据处理过程。也可以理解为：cpu停止下来去执行别的指令。例如：完成一次IO。或者完成一次网络数据包的发送。
内核处理过程 --- 控制优先级，进行任务调度。
用户进程
上下文切换 --- 把正在占用cpu的进程放回队列中（每次内核的上下文切换,资源被用于关闭在CPU寄存器中的线程和放置在队列中）
运行队列
常见cpu性能数据采集工具：
vmstat,top,uptime
mpstat --需要yum install sysstat
sar --需要yum install sysstat
# vmstat 2 每2秒钟采集一下数据
procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu------
r b swpd free buff cache si so bi bo in cs us sy id wa st
1 0 0 78112 63432 1519100 0 0 233 18 1906 1190 26 13 59 1 0
1 0 0 78112 63432 1519100 0 0 0 0 4180 1378 33 17 50 0 0
1 0 0 78112 63440 1519092 0 0 0 30 4284 1706 33 17 50 0 0
r 运行队列。单核cpu，不应该超过3
b 当前被阻塞的进程，一般这些进程都是在等待某些外部资源而被阻塞。>3需要注意，而且一直出现或者经常出现，就更值得注意
in 中断数。一般代表大量设备操作成功通知内核。
cs 上下文切换。一般代表任务需要紧急被cpu处理。数字高，只能说明内核在充分发挥它的任务调度作用。不能简单通过该数字判断cpu就出现瓶颈。
us 用户进程所占用的cpu时间的百分比
sy 内核在进行任务调度所占用的cpu时间的百分比
id cpu空闲所占用的时间百分比.仅仅0不能简单判断cpu出现瓶颈，只能说它被充分被留用。
wa 等待IO所消耗时间百分比
st 被硬件虚拟化的虚拟机所消耗掉的时间百分比
# vmstat -p /dev/sda1
# vmstat -d
mpstat 和 vmstat 类似，不同的是 mpstat 可以输出多个处理器的数据
# mpstat -P ALL 1 ---P ALL表示查看所有CPU核， 1表示每一秒显示一次
10:46:35 AM CPU %user %nice %sys %iowait %irq %soft %steal %idle intr/s
10:46:36 AM all 26.13 0.00 6.53 0.00 3.52 9.05 0.00 54.77 19478.22
10:46:36 AM 0 25.74 0.00 6.93 0.00 2.97 7.92 0.00 56.44 9740.59
10:46:36 AM 1 26.73 0.00 6.93 0.00 3.96 10.89 0.00 51.49 9739.60
# while :; do ps -eo pid,ni,pri,pcpu,psr,comm | grep 'firefox'; sleep 1; done
-----------------------------------------------------------
nice 优先级 能调的范围是 -20到19 -20表示优先级最高，19最低
用户运行一个程序默认给的优先级为0
renice 对一个已经运行的进程进行nice值的调整
renice 19 pid
# vim /tmp/test.sh
a=1
while [ $a -lt 1000000 ]
do
let a++
done
nice 优先级高的能够优先分配资源，跑得快，花费的时间少，负载越高，效果越明显
实验
在一个负载高的情况下做效果更好，比如一个大文件的cp
第一个终端:
# time sh /tmp/test.sh
real 0m39.363s
user 0m26.338s
sys 0m0.900s
第二个终端：
# time nice --19 sh /tmp/test.sh --19 第一个是参数的横杠，第二个是负号
real 0m26.881s
user 0m26.008s
sys 0m0.871s
--对比上面的时间，可以看到 高优先级的花费的时间少
可以把上面的实验再做一次，马上用top查出-19的pid值，并使用renice修改
renice 19 9683
# time sh /tmp/test.sh
real 0m34.665s
user 0m26.277s
sys 0m0.896s
# time nice --19 sh /tmp/test.sh
real 0m37.231s
user 0m26.094s
sys 0m0.905s
--从上面的时间可以看出，-19优先级的半路被改为19后，所花费的时间反而多了
注意：只有管理员才能把优先级往高调，普通用户只能调自己的，并且只能往低调，调低后还不能再调高
-----------------------------------------------------------
# sar -u 查看cpu相关的历史数据 --这是历史数据，是每十分钟会去采集一次系统相关的数据
# sar -u 2 3 --两秒一次，显示三次（不是历史数据，是当前动态数据)
sysstat --> 提供 sar 命令 (system activity reporter)
sar的特点：可以对过去时间的系统状态进行分析,但不能对某个进程进行深入分析，只能对系统的整体情况进行分析。
yum install sysstat -y
# service sysstat start
# chkconfig sysstat on
安装systat包后，就会自动在 /var/log/sa/saxx 产生数据 xx代表日期
可以使用sar -f /var/log/sa/saxx 去访问 加参数就可以访问不同类型的性能数据
指定查询之前的日期与固定时间点的方法
sar -u -f /var/log/sa/sa28 --查看这个月已经过的28号的cpu历史数据
sar -u -f /var/log/sa/sa28 -s 09:00:00 -e 10:00:00 --指定只看28号9点到10点的cpu历史数据
Linux 3.10.0-693.el7.x86_64 (localhost.localdomain) 04/28/2018 _x86_64_ (1 CPU)
09:27:58 AM LINUX RESTART
09:31:48 AM LINUX RESTART
09:40:01 AM CPU %user %nice %system %iowait %steal %idle
09:50:01 AM all 0.91 0.00 4.09 0.26 0.00 94.74
Average: all 0.91 0.00 4.09 0.26 0.00 94.74
保存性能数据
sar支持保存成两种格式的文件，一种是文本文件，一种是二进制文件 （只有通过sar自己的命令 -f 参数 才能看）
保存为文本文件,可以直接cat命令查看
sar -p 1 5 > /tmp/test/sar1.txt
保存为二进制文件
sar -p 1 5 -o /tmp/test/sar2.txt 1>/dev/null --会显示到屏幕，可以用1>/dev/null
file /tmp/test/sar2.txt --是data类型文件
sar -f /tmp/test/sar2.txt --使用-f参数读取
sar ---> 每分钟 收集信息 --> /var/log/sa/sa日期
sar -p (cpu default) ( sar -P 0 | 1 )
sar -r (内存信息)
sar -b ( 硬盘 I/O )
DEV 磁盘设备
tps 每秒传输数（或者每秒IO数）
rd_sec/s 每秒512字节读取数
wr_sec/s 每秒512字节写入数
sar -n DEV 显示网络接口信息
sar -n EDEV 显示关于网络错误的统计数据
sar -n SOCK 显示套接字信息
sar -n ALL 显示以上所有信息
===========================================================
内存子系统
CPU---内存－－－磁盘 （异步)
“内存” 包括物理内存和虚拟内存，
虚拟内存(Virtual Memory)把计算机的内存空间扩展到硬盘，
物理内存(RAM)和硬盘的一部分空间(SWAP)组合在一起作为虚拟内存为计算机提供了一个连贯的虚拟内存空间，
好处是我们拥有的内存 “变多了”，可以运行更多、更大的程序，
坏处是把部分硬盘当内存用整体性能受到影响，硬盘读写速度要比内存慢几个数量级，
并且 RAM 和 SWAP 之间的交换增加了系统的负担。
虚拟内存
把内存上暂时用不到的数据，但不能不用的数据，临时保存到磁盘（swap）或者磁盘文件(虚拟内存文件)中。
但需要用到这些数据的时候，就重新从磁盘上读取到内存中。
由内核kswapd进程完成
ps -ef |grep kswapd
内存页（page） 默认是4K大小。这是操作内存数据的最小基本单位(类似于文件系统里的block)
内存分页（paging） 内核经常扫描内存，如果发现内存的空闲空间低于某个值，那么就会把内存上的数据同步到硬盘。
这些一般都是曾经打开过的文件，这些文件数据加载到内存中，然后已经被修改过，
# /usr/bin/time -v mysql --此命令显示的倒数第二行有内存页的大小
......
Page size (bytes): 4096
Exit status: 1
[root@srv253 ~]# free
total used free shared buff/cache available
Mem: 500472 303324 8872 6640 188276 154796
Swap: 1048572 5344 1043228
# /usr/bin/time -v date
...
Major (requiring I/O) page faults: 0 主要页面故障
Minor (reclaiming a frame) page faults: 204 次要页面故障
...
Page size (bytes): 4096 <－－内存页为4K
主要页面故障：(类似于缓存未命中miss)
当执行某个进程的时候，进程需要读取某些数据，而这些数据在cache,buffer(在内存中)找不到，就会产生一次主要页面故障。
次要页面故障: (类似于缓存命中hit)
进程在执行的时候，需要的数据在内存中可以找到，就叫做次要页面故障。
系统为了提高访问效率，总是把数据缓存起来，以便在内存中直接操作数据，减少磁盘的读写。
其实就是一个尽可能减少主要页面故障，增加次要页面故障的过程
小实例测试：
/usr/bin/time -v firefox 运行两次可以看到，第二次运行已经主要页面故障为0了，因为进程所需的数据已经在内存中,并且感觉到firefox打开速度变快
echo 3 > /proc/sys/vm/drop_caches --此命令是扔掉内存中的缓存
然后再用/usr/bin/time -v firefox 执行,会发现主要页面故障又不为0了,而且明显感觉到firefox打开速度变慢.说明缓存没有命中
记住几点:
物理内存与虚拟内存交换的单位就是内存页
内存页大小为4096
内核会在物理内存不够时,使用虚拟内存或者是物理内存有空闲时,也会使用虚拟内存(会使用最近最少使用算法,把最近不常用的也会给虚拟内存)
内存里的数据会在满足特定条件时才会写到磁盘(这些条件可以通过修改内核参数来实现优化)
linux系统会把你访问过的程序或文件都缓存起来,甚至你的程序关闭也不释放相关的缓存.
查看内存状态相关的命令
free,top,vmstat,sar
# free
total used free shared buffers cached
Mem: 3893984 1635316 2258668 0 7692 1052848
-/+ buffers/cache: 574776 3319208
Swap: 4095992 0 4095992
# vmstat
procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu-----
r b swpd free buff cache si so bi bo in cs us sy id wa st
0 0 0 2258668 7692 1052824 0 0 134 21 298 423 4 1 95 1 0
--从上面的比较可以看到，vmstat里的free，buff,cache的值对应free 命令里的free,buffers,cached
si 有多少数据从swap读取到内存中
so 有多少数据从内存写到swap分区
bi 有多少数据从块设备读取到内存中
bo 有多少数据从内存中写到内存中
--如果你看到swapd使用比较多，free+buff+cache的值很小，并且si和so比较频繁，说明可用内存很小，并且swap使用很多，swap交互也频繁，表明内存遇到瓶颈了
# sar -B 2 3
Linux 3.10.0-693.el7.x86_64 (srv253) 06/11/2018 _x86_64_ (1 CPU)
10:19:17 AM pgpgin/s pgpgout/s fault/s majflt/s pgfree/s pgscank/s pgscand/s pgsteal/s %vmeff
10:19:19 AM 0.00 0.51 31.98 0.00 22.84 0.00 0.00 0.00 0.00
10:19:21 AM 0.00 0.00 13.71 0.00 11.68 0.00 0.00 0.00 0.00
10:19:23 AM 0.00 0.00 11.68 0.00 14.21 0.00 0.00 0.00 0.00
Average: 0.00 0.17 19.12 0.00 16.24 0.00 0.00 0.00 0.00
pgpgin/s 每秒从磁盘page in内存的 kilobytes
pgpgout/s 每秒从内存page out磁盘的 kilobytes
fault/s 每秒的（major+minor) page faults之和
majflt/s 每秒的major page faults数
--如果pgpgin和pgpgout很多,majflt/fault这个内存miss率很高.而且系统运行的程序也是固定的,这就有可能说明内存不够用了.造成缓存不了所有数据,以致内存命中率低
===========================================================
与内存和swap有关的参数
# cat /proc/sys/vm/swappiness
60
swappiness表示使用swap分区的使用程度,可以适当调整swappiness=0的时候表示尽可能使用物理内存swap空间.swappiness=100积极使用swap.
# cat /proc/sys/vm/dirty_background_ratio
10
--这里表示内存里的脏数据到达10％，会触发写到磁盘
# cat /proc/sys/vm/dirty_ratio
20
--这里表示内存里的脏数据到达20％时，就不能再写入脏数据了，也就表示要让应用程序等待了，等这个值下降，才能继续写
程序经cpu处理的数据－－>内存 －－> 磁盘
--这两个参数合起来理解就是:内存脏数据到dirty_background_ratio定义的10％时，就会触发数据写到磁盘（但是这个过程是异步的，也就是说还是会有别的应用程序的脏数据能继续写到内存），如果应用程序往内存里写的比内存往磁盘里写得快，还是有可能达到dirty_ratio定义的20%时，那么就要让写脏数据的应用程序等待，直到它降低到20％以下，再继续写
理解了上面两个参数的意思，现在如何来调整
把它调大，会提高写入磁盘速度（因为一次写的数据量大）；但这样也有缺点，有可能一次写的数据量过大，造成磁盘IO峰值
把它调小，虽然速度会较慢，但可以削平IO峰值