Linux学习第十八节课
-----------------------------------------------------------------------------------------------------------------------------------
进程：正在执行中的程序，在内存中占用空间，程序和进程不是一一对应的，一个程序可以对应多个进程
内核的功用：进程管理、文件系统、网络功能、内存管理、驱动程序、安全功能等
Process: 运行中的程序的一个副本，是被载入内存的一个指令集合
进程ID（Process ID，PID）号码被用来标记各个进程
UID、GID、和SELinux语境决定对文件系统的存取和访问权限，UID：用户身份，GID：组身份
通常从执行进程的用户来继承
存在生命周期
task struct：Linux内核存储进程信息的数据结构格式
task list：多个任务的的task struct组成的链表
进程创建：
init：第一个进程
父子关系
进程：都由其父进程创建，CoW
fork(), clone()
CoW：copy or write，写实复制，数据未发生变化时，只会给分配一个进程编号，当数据发生修改时，才会写入数据，机制类似于LVM的快照
进程树指令:pstree
{}里为线程
进程和线程区别：进程是完成1个任务所需资源的集合，进程可以看作是1个任务或者1个项目，项目需要人员和资源，其中的人员就是线程，所以1个进程对应多个线程，线程至少为1，同一个线程之间使用的资源是共享的
类比：人员（线程），资源（内存空间，文件等）
进程和进程之间内部资源互不影响
进程process
线程thread
cpu将程序任务切成了很短的时间片，给人错觉是同时执行，其实程序是轮流执行，不是同时执行
cpu的上下文切换会带来大量资源消耗，进程越多，资源消耗越多，因此父进程生成不多的子进程，由子进程生成线程，让线程提供给客户端，从而减少上下文切换，不过线程缺点是有一个线程崩溃，其它线程也会收到影响
进程的基本状态和转换
DMA：直接内存访问，不需要经过cpu，只需要cpu发一个指令给DMA设备，让磁盘文件读入DMA，DMA发给总线，总线再发给内存，这样cpu不用全程负责，节省资源
进程的基本状态
<1>创建状态：进程在创建时需要申请一个空白PCB(process control block进程控制块)，向其中填写控制和管理进程的信息，完成资源分配。如果创建工作无法完成，比如资源无法满足，就无法被调度运行，把此时进程所处状态称为创建状态
<2>就绪状态：进程已准备好，已分配到所需资源，只要分配到CPU就能够立即运行
<3>执行状态：进程处于就绪状态被调度后，进程进入执行状态
<4>阻塞状态：正在执行的进程由于某些事件（I/O请求，申请缓存区失败）而暂时
无法运行，进程受到阻塞。在满足请求时进入就绪状态等待系统调用
<5>终止状态：进程结束，或出现错误，或被系统终止，进入终止状态。无法再执行
状态之间转换六种情况
<1>运行——>就绪：1，主要是进程占用CPU的时间过长，而系统分配给该进程占
用CPU的时间是有限的；2，在采用抢先式优先级调度算法的系统中,当有更高
优先级的进程要运行时，该进程就被迫让出CPU，该进程便由执行状态转变为
就绪状态。
<2>就绪——>运行：运行的进程的时间片用完，调度就转到就绪队列中选择合适
的进程分配CPU
<3>运行——>阻塞：正在执行的进程因发生某等待事件而无法执行，则进程由执
行状态变为阻塞状态，如发生了I/O请求
<4>阻塞——>就绪:进程所等待的事件已经发生，就进入就绪队列
以下两种状态是不可能发生的：
<1>阻塞——>运行：即使给阻塞进程分配CPU，也无法执行，操作系统在进行调
度时不会从阻塞队列进行挑选，而是从就绪队列中选取
<2>就绪——>阻塞：就绪态根本就没有执行，谈不上进入阻塞态
进程优先级
进程优先级：
系统优先级：数字越小，优先级越高
0-139（CentOS4,5）
各有140个运行队列和过期队列
0-98，99（CentOS6）
实时优先级: 99-0 值最大优先级最高
nice值：-20到19，对应系统优先级100-139或99，nice值越低，优先级越高
Big O：时间复杂度，用时和规模的关系
O(1), O(logn), O(n)线性, O(n^2)抛物线, O(2^n)，此顺序排下来性能越来越差
cpu会给运行队列的进程分配时间片，当时间片内进程没有运行完，该队列内的进程会去等待队列，当所有进程都没有完成，等待队列会变成运行队列，运行队列变成等待队列，继续运行
进程相关概念
进程内存：
Page Frame: 页框，用存储页面数据，存储Page 4k
LRU：Least Recently Used 近期最少使用算法,释放内存，常用于缓存
物理地址空间和线性地址空间
MMU：Memory Management Unit负责转换线性和物理地址
TLB:Translation Lookaside Buffer 翻译后备缓冲器,用于保存虚拟地址和物理地址
映射关系的缓存
IPC: Inter Process Communication
同一主机: signal:信号
shm: shared memory
semaphore:信号量，一种计数器
不同主机：socket: IP和端口号
RPC: remote procedure call
MQ：消息队列，Kafka，ActiveMQ
进程状态
<1>Linux内核：抢占式多任务
<2>进程类型：
守护进程: daemon,在系统引导过程中启动的进程，和终端无关进程，在后台执行，不占用终端资源
前台进程：跟终端相关，通过终端启动的进程，占用终端资源
注意：两者可相互转化
<3>进程状态：
运行态：running
就绪态：ready
睡眠态：
可中断：interruptable
不可中断：uninterruptable
停止态：stopped,暂停于内存，但不会被调度，除非手动启动
僵死态：zombie，结束进程，父进程结束前，子进程不关闭
抢占式多任务触发条件
<1>时间片到了会释放cpu
<2>来高优先级进程，目前进程没有执行完也会释放cpu
系统管理工具
<1>进程的分类：
CPU-Bound：CPU密集型，非交互
IO-Bound：IO密集型，交互
<2>Linux系统状态的查看及管理工具：pstree, ps, pidof, pgrep, top, htop,
glance, pmap, vmstat, dstat, kill, pkill, job, bg, fg, nohup
<3>pstree命令：
pstree - display a tree of processes
<4>ps: process state，显示当前进程的一个快照
ps - report a snapshot of the current processes
Linux系统各进程的相关信息均保存在/proc/PID目录下的各文件中
查看进程进程ps
ps [OPTION]...
支持三种选项：
UNIX选项 如-A -e
BSD选项 如a
GNU选项 如--help
选项：BSD风格
默认显示当前终端中的进程
a 选项包括所有终端中的进程
x 选项包括不链接终端的进程，显示?的地方是和终端无关，显示的是守护进程
u 选项显示进程所有者的信息
f 选项显示进程树,相当于 --forest
k|--sort 属性 对属性排序,属性前加- 表示倒序，
o 属性… 选项显示定制的信息 pid、cmd、%cpu、%mem，ps axo pid,cmd,%cpu
L 显示支持的属性列表
ps axo euser,ruser，euser表示起作用的用户，ruser表示启动的用户，对于suid特殊权限查看方便
Unix风格
-C cmdlist 指定命令，多个命令用，分隔，ps -C cmd1 -C cmd2…
-L 显示线程
-e: 显示所有进程，相当于-A
-f: 显示完整格式程序信息
-F: 显示更完整格式的进程信息
-H: 以进程层级格式显示进程相关信息
-u userlist 指定有效的用户ID或名称
-U userlist 指定真正的用户ID或名称
-g gid或groupname 指定有效的gid或组名称
-G gid或groupname 指定真正的gid或组名称
-p pid 显示指pid的进程
--ppid pid 显示属于pid的子进程
-M 显示SELinux信息，相当于Z
ps输出属性
<1>VSZ: Virtual memory SiZe，虚拟内存集，线性内存
<2>RSS: ReSident Size, 常驻内存集
<3>STAT：进程状态
R：running 运行
S: interruptable sleeping 可中断的睡眠
D: uninterruptable sleeping 不可中断的睡眠
T: stopped
Z: zombie
+: 前台进程
l: 多线程进程
L：内存分页并带锁
N：低优先级进程
<: 高优先级进程
s: session leader，会话（子进程）发起者
ps aux 结果列表中VSZ表示虚拟内存，操作系统承诺给进程的内存，RSS表示物理空间实际给分配的空间
ps
ni: nice值
pri: priority 优先级
psr: processor CPU编号
rtprio: 实时优先级
示例：
ps axo pid,cmd,psr,ni,pri,rtprio
常用组合：
aux
-ef
-eFH
-eo pid,tid,class,rtprio,ni,pri,psr,pcpu,stat,comm
axo stat,euid,ruid,tty,tpgid,sess,pgrp,ppid,pid,pcpu,comm
taskset 进程绑定到cpu上，taskset -cp 0 29623，进程29623绑定到0号cpu上
把固定进程绑到cpu上，可以提升cpu性能
ps -fU test，test用户开启的进程
ps示例
查询你拥有的所有进程：
ps -x
显示指定用户名(RUID)或用户ID的进程：
ps -fU apache
ps -fu 48
显示指定用户名(EUID)或用户ID的进程：
ps -fu wang
ps -fu 1000
查看以root用户权限（实际和有效ID）运行的每个进程：
ps -U root -u root
列出某个组拥有的所有进程（实际组ID：RGID或名称）：
ps -fG nginx
列出有效组名称（或会话）所拥有的所有进程：
ps -fg mysql
ps -fG 27
通过进程ID来显示所属的进程：
ps -fp 1234
以父进程ID来显示其下所有的进程，如显示父进程为1154的所有进程：
ps -f --ppid 1234
显示指定PID的多个进程：
ps -fp 1204,1239,1263
要按tty显示所属进程:
ps -ft pst/0
以进程树显示系统中的进程如何相互链接:
ps -e --forest
以进程树显示指定的进程
ps -f --forest -C sshd
ps -ef --forest | grep -v grep | grep sshd
要显示一个进程的所有线程,将显示LWP（轻量级进程）以及NLWP（轻量级进
程数）列:
ps -fL -C nginx
要列出所有格式说明符:
ps L
查看进程的PID，PPID，用户名和命令：
ps -eo pid,ppid,user,cmd
自定义格式显示文件系统组,ni值开始时间和进程的时间：
ps -p 1234 -o pid,ppid,fgroup,ni,lstart,etime
使用其PID查找进程名称：
ps -p 1244 -o comm=
要以其名称选择特定进程，显示其所有子进程
ps -C sshd,bash
查找指定进程名所有的所属PID，在编写需要从std输出或文件读取PID的脚本时
这个参数很有用：
ps -C httpd,sshd -o pid=
检查一个进程的执行时间
ps -eo comm,etime,user | grep nginx
查找占用最多内存和CPU的进程：
ps -eo pid,ppid,cmd,%mem,%cpu --sort=-%mem | head
ps -eo pid,ppid,cmd,%mem,%cpu --sort=-%cpu | head
显示安全信息：
ps -eM
ps --context
使用以下命令以用户定义的格式显示安全信息。
ps -eo euser,ruser,suser,fuser,f,comm,label
使用watch实用程序执行重复的输出以实现对就程进行实时的监视，如下面的命
令显示每秒钟的监视：
watch -n 1 'ps -eo pid,ppid,cmd,%mem,%cpu --sort=-%mem | head'
进程优先级
<1>进程优先级调整：
静态优先级：100-139
进程默认启动时的nice值为0，优先级为120
只有根用户才能降低nice值（提高优先性）
<2>nice命令：
nice [OPTION] [COMMAND [ARG]...]，nice -n 10 sleep 10将sleep10命令nice优先级设为10
<3>renice命令：
renice [-n] priority pid...，renice -n -10 52999，进程号为52999的命令nice优先级改为-10
<4>查看：
ps axo pid,comm,ni
搜索进程
<1>最灵活：ps 选项 | 其它命令
<2>按预定义的模式：pgrep
pgrep [options] pattern
-u uid: effective user，生效者
-U uid: real user，真正发起运行命令者
-t terminal: 与指定终端相关的进程
-l: 显示进程名，只显示命令，不显示参数，后面支持通配符或者正则表达式
-a: 显示完整格式的进程名，显示完整命令和参数
-P pid: 显示指定进程的子进程
<3>按确切的程序名称：/sbin/pidof
pidof bash，可以用来判断某个进程是否存在，某个服务是否进行
面试 搜索app的进程并关闭：pgrep “app” ，之后kill，或者pkill
系统工具
<1>uptime
显示当前时间，系统已启动的时间、当前上线人数，系统平均负载（1、5、10分
钟的平均负载，一般不会超过1）
<2>系统平均负载:
指在特定时间间隔内运行队列中的平均进程数
<3>通常每个CPU内核的当前活动进程数不大于3，那么系统的性能良好。如果每
个CPU内核的任务数大于5，那么此主机的性能有严重问题
<4>如果linux主机是1个双核CPU，当Load Average 为6的时候说明机器已经被
充分使用
进程管理工具
top：有许多内置命令，输入top命令进入列表后排序按键：
排序：
P：以占据的CPU百分比,%CPU
M：占据内存百分比,%MEM
T：累积占据CPU时长,TIME+
首部信息显示：
uptime信息：l命令
tasks及cpu信息：t命令
cpu分别显示：1 (数字)
memory信息：m命令
退出命令：q
修改刷新时间间隔：s
终止指定进程：k
保存文件：W
栏位信息简介
us：用户空间
sy：内核空间
ni：调整nice时间
id：空闲
wa：等待IO时间
hi：硬中断
si：软中断（模式切换）
st：虚拟机偷走的时间
进程管理工具
<1>选项：
-d #: 指定刷新时间间隔，默认为3秒
-b: 全部显示所有进程
-n #: 刷新多少次后退出
<2>htop命令：EPEL源
选项：
-d #: 指定延迟时间；
-u UserName: 仅显示指定用户的进程
-s COLUME: 以指定字段进行排序
子命令：
s: 跟踪选定进程的系统调用
l: 显示选定进程打开的文件列表
a：将选定的进程绑定至某指定CPU核心
t: 显示进程树
top -p -H 进程号，根据该进程查看它的线程
内存空间
内存空间使用状态：
free [OPTION]
-b 以字节为单位
-m 以MB为单位
-g 以GB为单位
-h 易读格式
-o 不显示-/+buffers/cache行
-t 显示RAM + swap的总和
-s n 刷新间隔为n秒
-c n 刷新n次后即退出
free中
buffers是缓冲区，速度不同，解决速度不匹配的问题
cached是缓存
-/+ buffers/cache：已经用的内存,used减去buffers和cached的数字就是-buffers/cache得到的，空余的free加上buffers和cached的就是+ buffers/cache
内存工具
<1>vmstat命令：虚拟内存信息
vmstat [options] [delay [count]]
vmstat 2 5
<2>procs:
r：可运行（正运行或等待运行）进程的个数，和核心数有关
b：处于不可中断睡眠态的进程个数(被阻塞的队列的长度)
<3>memory：
swpd: 交换内存的使用总量
free：空闲物理内存总量
buffer：用于buffer的内存总量
cache：用于cache的内存总量
<4>swap:
si：从磁盘交换进内存的数据速率(kb/s)
so：从内存交换至磁盘的数据速率(kb/s)
<5>io：
bi：从块设备读入数据到系统的速率(kb/s)
bo: 保存数据至块设备的速率
<6>system：
in: interrupts 中断速率，包括时钟
cs: context switch 进程切换速率
<7>cpu：
us:Time spent running non-kernel code
sy: Time spent running kernel code
id: Time spent idle. Linux 2.5.41前,包括IO-wait time.
wa: Time spent waiting for IO. 2.5.41前，包括in idle.
st: Time stolen from a virtual machine. 2.6.11前, unknown.
<8>选项：
-s: 显示内存的统计数据
vmstat 1 一秒执行一次
vmstat 1 10 一秒执行一次，执行十次退出
系统监控工具
<1>glances命令：EPEL源
<2>glances [-bdehmnrsvyz1] [-B bind] [-c server] [-C conffile] [-p port] [-P password] [--password] [-
t refresh] [-f file] [-o output]
可以坐在自己主机前查看其它设备
C/S模式下运行glances命令
服务器模式：
glances -s -B IPADDR
IPADDR: 指明监听的本机哪个地址
客户端模式：
glances -c IPADDR
IPADDR：要连入的服务器端地址
<1>dstat命令：系统资源统计,代替vmstat,iostat，需要安装
<2>dstat [-afv] [options..] [delay [count]]
-c: 显示cpu相关信息
-C #,#,...,total
-d: 显示disk相关信息
-D total,sda,sdb,...
-g：显示page相关统计数据
-m: 显示memory相关统计数据
-n: 显示network相关统计数据
-p: 显示process相关统计数据
-r: 显示io请求相关的统计数据
-s: 显示swapped相关的统计数据
<1>iotop命令是一个用来监视磁盘I/O使用状况的top类工具iotop具有与top相似的UI，其中包括PID、用户、I/O、进程等相关信息，可查看每个进程是如何使用IO，需要安装
<2>iotop输出
第一行：Read和Write速率总计
第二行：实际的Read和Write速率
第三行：参数如下：
线程ID（按p切换为进程ID）
优先级
用户
磁盘读速率
磁盘写速率
swap交换百分比
IO等待所占的百分比
线程/进程命令
-o, --only只显示正在产生I/O的进程或线程，除了传参，可以在运行过程中按o生效
-b, --batch非交互模式，一般用来记录日志
-n NUM, --iter=NUM设置监测的次数，默认无限。在非交互模式下很有用
-d SEC, --delay=SEC设置每次监测的间隔，默认1秒，接受非×××数据例如1.1
-p PID, --pid=PID指定监测的进程/线程
-u USER, --user=USER指定监测某个用户产生的I/O
-P, --processes仅显示进程，默认iotop显示所有线程
-a, --accumulated显示累积的I/O，而不是带宽
-k, --kilobytes使用kB单位，而不是对人友好的单位。在非交互模式下，脚本编程有用
-t, --time 加上时间戳，非交互非模式
-q, --quiet 禁止头几行，非交互模式，有三种指定方式
-q 只在第一次监测时显示列名
-qq 永远不显示列名
-qqq 永远不显示I/O汇总
交互按键
left和right方向键：改变排序
r：反向排序
o：切换至选项--only
p：切换至--processes选项
a：切换至--accumulated选项
q：退出
i：改变线程的优先级
哪个磁盘造成IO严重？iotop可查询
l <1>Lsof：list open files查看当前系统文件的工具。在linux环境下，一切皆文件，用户通过文件不仅可以访问常规数据，还可以访问网络连接和硬件如传输控制协议 (TCP) 和用户数据报协议 (UDP)套接字等，系统在后台都为该应用程序分配了一个文件描述符
<2>命令参数
-a：列出打开文件存在的进程
-c<进程名>：列出指定进程所打开的文件
-g：列出GID号进程详情
-d<文件号>：列出占用该文件号的进程
+d<目录>：列出目录下被打开的文件
+D<目录>：递归列出目录下被打开的文件
-n<目录>：列出使用NFS的文件
-i<条件>：列出符合条件的进程(4、6、协议、:端口、 @ip )
-p<进程号>：列出指定进程号所打开的文件
-u：列出UID号进程详情
-h：显示帮助信息
-v：显示版本信息。
-n: 不反向解析网络名字
<3>进程管理
<4>查看由登陆用户启动而非系统启动的进程
lsof /dev/pts1
<5>指定进程号，可以查看该进程打开的文件
lsof -p 9527
<6>文件管理
<7>查看指定程序打开的文件
lsof -c httpd
<8>查看指定用户打开的文件
lsof -u root | more
<9>查看指定目录下被打开的文件
lsof +D /var/log/
lsof +d /var/log/
参数+D为递归列出目录下被打开的文件，参数+d为列出目录下被打开的文件
<10>网络管理
<11>查看所有网络连接
lsof -i –n，lsof [email protected]
通过参数-i查看网络连接的情况，包括连接的ip、端口等以及一些服务的连接情况，例如：sshd等。也可以通过指定ip查看该ip的网络连接情况
<12>查看端口连接情况（面试题）
lsof -i :80 -n
通过参数-i:端口可以查看端口的占用情况，-i参数还有查看协议，ip的连接情况等
<13>查看指定进程打开的网络连接
lsof -i –n -a -p 9527
参数-i、-a、-p等，-i查看网络连接情况，-a查看存在的进程，-p指定进程
<14>查看指定状态的网络连接
lsof -n -P -i TCP -s TCP:ESTABLISHED
-n:no host names, -P:no port names,-i TCP指定协议，-s指定协议状态通过多个参数可以清晰的查看网络连接情况、协议连接情况等
<15>恢复删除文件
lsof |grep /var/log/messages
rm -f /var/log/messages 前提是使用这个文件的程序没有关闭
lsof |grep /var/log/messages 查看谁在用这个文件哪个程序在用
cat /proc/653/fd/6 进到653进程下的fd文件夹
ls fd/ -l 看到删除的文件还在
cat /proc/653/fd/6 > /var/log/messages 恢复
kill命令：
向进程发送控制信号，以实现对进程管理,每个信号对应一个数字，信号名称以SIG开头（可省略），不区分大小写
显示当前系统可用信号： kill –l，trap -l
常用信号：man 7 signal
1) SIGHUP: 无须关闭进程而让其重读配置文件，kill -SIGHUP 进程号
2) SIGINT: 中止正在运行的进程；相当于Ctrl+c，kill -2 `pidof bc`
3) SIGQUIT:相当于ctrl+\
9) SIGKILL: 强制杀死正在运行的进程
15) SIGTERM：终止正在运行的进程，kill指令默认选项
18) SIGCONT：继续运行
19) SIGSTOP：后台休眠
指定信号的方法：
(1)信号的数字标识：1, 2, 9
(2)信号完整名称：SIGHUP (3) 信号的简写名称：HUP
按PID：kill [-SIGNAL] pid …
kill –n SIGNAL pid;kill –s SIGNAL pid
按名称：killall [-SIGNAL] comm…，killall bash，结束全部bash的进程，killall -9 强制结束
按模式：pkill [options] pattern，可接正则表达式
-SIGNAL
-u uid: effective user，生效者
-U uid: real user，真正发起运行命令者
-t terminal: 与指定终端相关的进程
-l: 显示进程名（pgrep可用）
-a: 显示完整格式的进程名（pgrep可用）
-P pid: 显示指定进程的子进程
面试题：结束含有字符的进程
pkill -9 “正则表达式
作业管理
<1>Linux的作业控制
前台作业：通过终端启动，且启动后一直占据终端，ctrl+z放到后台休眠
后台作业：可通过终端启动，但启动后即转入后台运行（释放终端）
<2>让作业运行于后台
(1) 运行中的作业： Ctrl+z
(2) 尚未启动的作业： COMMAND &
<3>后台作业虽然被送往后台运行，但其依然与终端相关；退出终端，将关闭后台作业。如果希望送往后台后，剥离与终端的关系
nohup COMMAND &>/dev/null &
screen;COMMAND
<4>查看当前终端所有作业：jobs
<5>作业控制：
fg [[%]JOB_NUM]：把指定的后台作业调回前台
bg [[%]JOB_NUM]：让送往后台的作业在后台继续运行
kill [%JOB_NUM]： 终止指定的作业”
前屏命令后跟空格和&可直接切换为后台作业，例如ping 192.168.1.1 &
后台停止转后台运行：jobs命令后bg jobnumber，或者kill -18
后台运行转后台停止：fg jobnumber后ctrl+c或者kill -19