sed与awk
一、sed
sed是一种流编辑器，流编辑器会在编辑器处理数据之前基于先提供的一组规则来编辑数据流
sed编辑器可以根据命令来处理数据流中的数据，这些命令要么从命令行中输入，要么存储在一个命令文本文件中
1.1 sed编辑器工作流程
●读取: sed从输入流 (文件、管道、标准输入) 中读取一行内容并存储到临时的缓冲区中(又称模式空间，pattern space)
●执行:默认情况下，所有的sed命令都在模式空间中顺序地执行，除非指定了行的地址，否则sed命令将会在所有的行上依次执行。
●显示:发送修改后的内容到输出流。在发送数据后，模式空间将会被清空。在所有的文件内容都被处理完成之前，上述过程将重复执行,直至所有内容被处理完。
在所有的文件内容都被处理完成之前，上述过程将重复执行，直至所有内容被处理完。
注意:默认情况下所有的sed命令都是在模式空间内执行的，因此输入的文件并不会发生任何变化，除非是用重定向存储输出。
1.2 sed命令格式
sed -e '格式' 文件1 文件2 ...
sed -n -e ‘操作’ 文件1 文件2 ...
sed -f 脚本文件 文件1 文件2 ...
sed -i -e '操作' 文件1 文件2 ...
sed -e ' n {
操作1
操作2
...
} ' 文件1 文件2
1.3 常用选项
| 选项 | 功能 |
|---|---|
| -e或- -expression= | 表示用指定命令来处理输入的文本文件，只有一个操作命令时可省略，一 般在执行多个操作命令使用 |
| f或- -file= | 表示用指定的脚本文件来处理输入的文本文件。 |
| h或- -help | 显示帮助。 |
| -n、- -quiet或silent | 禁止sed编辑器输出，但可以与p命令一起使用完成输出。 |
| -i | 直接修改目标文本文件。 |
1.4 常用操作
| 操作 | 作用 |
|---|---|
| s | 替换，替换指定字符。 |
| d | 删除，删除选定的行。 |
| a | 增加，在当前行下面增加一行指定内容。 |
| i | 插入，在选定行上面插入一zai行指定内容。 |
| c | 替换，将选定行替换为指定内容。 |
| y | 字符转换，转换前后的字符长度必须相同。 |
| p | 打印，如果同时指定行，表示打印指定行;如果不指定行，则表示打印所有内容;如果有非打印字符，则以ASCII码输出。其通常与“-n”选项一起使用。 |
| = | 打印行号。 |
| l (小写L) | 打印数据流中的文本和不可打印的ASCII字符(比如结束符$、制表符\t) |
sed -n -e 'p' testfile1 #打印文本所有内容
sed -n -e '=' testfile1 #打印行号
sed -n -e 'l' testfile1 #打印数据流中的文本和不可打印的ASCII字符
sed -n -e '!=;p' testfile1
sed -n -e '=' -e 'p' testfile1 #打印行号和内容
1.5 寻址方式
sed编辑器有2种寻址方式:
1、以数字形式表示行区间
2、用文本模式来过滤出行
sed -n '1p' testfile1 #打印第一行
sed -n '$p' testfile1 #打印最后一行
sed -n '1,3p' testfile1 #打印1-3行
sed -n '3, $p' testfile1 #打印3至最后一行
sed -n '1, +3p' testfile1 #打印1之后的连续3行，即1-4行
sed '5q' testfile1 #打印前5行信息后退出，q表示退出
sed -n 'p;n' testfile1 #打印奇数行; n表示移动到下一行
sed -n 'n;p' testfile1 #打印偶数行
sed -n '2,${n;p}' testfile1 #打印从3开始的奇数行
sed -n '/user/p' /etc/passwd #打印/etc/passwd中含有user的行
sed -n '/^a/p' /etc/passwd #打印/etc/passwd中以a开头的行
sed -n '/bash$/p' /etc/passwd #打印出/etc/passwd中以/bash结尾的行
sed -n '/ftp\|root/p' /etc/passwd #打印出带有root或ftp的行
sed -n '2,/nobody/p' /etc/passwd #打印出第二行到第一个带有nobady的行
sed -n '2,/nobody/=' /etc/passwd #打印出第二行到第一个带有nobady的行的行号
sed -nr '/ro{1,}t/p' /etc/passwd #-r表示支持正则表达式 ＃打印出以ｒ开头至少有一个ｏ的单词的所在行
1.6 删除行
sed 'd' testfile1 #全删
sed '3d' testfile1 #删除第三行
sed '2,4d' testfile1 #删除2-4行
sed '$d' testfile1 #删除最后一行
sed '/^$/d' testfile1 #删除空行
sed '/nologin$/d' /etc/passwd #删除/etc/passwd中以/nologin结尾的行
sed '/nologin$/!d' /etc/passwd #“!”表示取反操作;
sed '/2/,/3/d' testfile2 #从第一个位置打开行删除功能，到第二个位置关闭行删除功能
sed '/1/,/3/d' testfile2
1.7 替换
格式：
行范围 s/旧字符串/新字符串/替换标记
4种替换标记：
| 标记 | 功能 |
|---|---|
| 数字 | 表明新字符串将替换第几处匹配的地方 |
| g | 表明新字符串将会替换所有匹配的地方 |
| p | 打印与替换命令匹配的行，与-n一起使用 |
| w 文件 | 将替换的结果写到文件中 |
sed -n 's/root/admin/p' /etc/passwd #把搜索出的root的所在行的第一个root替换成admin打印出来
sed -n 's/root/admin/2p' /etc/passwd #把搜索出的root的第二个root替换成admin打印出来
sed -n 's/root/admin/gp' /etc/passwd #把搜索出的所有的root替换成admin打印出来
sed -n 's/root//gp' /etc/passwd #把搜索出的所有的root替换成空格打印出来
sed -n '1,20 s/^/#/p' /etc/passwd #把1-20行的行首添加#打印出来
sed '/^root/ s/$/#/' /etc/passwd #把以root开头的行搜索出来,在行尾添加#,打印出来
sed -f script.sed testfile2 #把脚本中的命令来执行testfile2
sed '1, 20w out.txt' /etc/passwd #把/etc/passwd的1-20行的内容存到out.txt中
sed '1,20 s/^/#/w out.txt' /etc/passwd #把/etc/passwd的1-20行内容在行首添加#,并存到out.txt中
sed -n 's/\/bin\/bash/\/bin\/csh/p' /etc/passwd #把/bin/bash替换成/bin/csh
sed -n 's!/bin/bash!/bin/csh!p' /etc/passwd #使用“!”作为字符串分隔符
1.8 插入
sed '/45/c ABC' testfile2 #把45替换成ABC
sed '/45/ y/45/AB/' testfile2 #不常用,可忽略
sed '1,3a ABC' testfile2 #在第1行和第3行的下边插入ABC
sed '1i ABC' testfile2 #在第1行的上边插入ABC
sed '5r /etc/resolv.conf' testfile2 #r--read 把etc/resolv.conf读入到testfile2的第5行下边
sed '/root/{H;d};$G' /etc/passwd #将包含root的行剪切到末尾，H表示复制到剪切板，G表示粘贴到指定行后
sed '1,2H;3, 4G' /etc/ passwd #将1、2行复制到3和4行的下面
二、awk
2.1 awk工作原理
逐行读取文本，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令。
sed命令常用于一整行的处理，而awk比较倾向于将一行分成多个“字段”然后再进行处理。awk信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示。在使用awk命令的过程中,可以使用逻辑操作符“&&”表示“与”、“||”表示“或”、“!”表示“非”；还可以进行简单的数学运算，如+、-、*、/、%、^分别表示加、减、乘、除、取余和乘方。
2.2 命令格式
awk 选项 '模式或条件 {操作}' 文件 1 文件 2 …
awk -f 脚本文件 文件 1 文件 2 …
2.3 awk常见的内建变量（可直接用）
| 变量 | 作用 |
|---|---|
| FS | 列分割符。指定每行文本的字段分隔符，默认为空格或制表位。与"-F"作用相同 |
| NF | 当前处理的行的字段个数。 |
| NR | 当前处理的行的行号(序数) |
| $0 | 当前处理的行的整行内容。 |
| $n | 当前处理行的第n个字段(第n列) |
| FILENAME | 被处理的文件名。 |
| RS | 行分隔符。awk从文件上读取资料时，将根据RS的定义把资料切割成许多条记录，而awk一次仅读入一条记录，以进行处理。预设值是’\n’ |
2.4 按行输出文本
awk '{print}' testfile2 #输出所有内容
awk '{print $0}' testfile2 #输出所有内容
awk 'NR==1,NR==3{print}' testfile2 #输出第1~3行内容.
awk '(NR>=1) && (NR<=3) {print}' testfile2 #输出第1~3行内容
awk 'NR==1||NR==3{print} ' testfile2 #输出第1行、第3行内容
awk '(NR%2)==1{print} ' testfile2 #输出所有奇数行的内容
awk '(NR%2)==0{print}' testfile2 #输出所有偶数行的内容
awk '/^root/{print}' /etc/passwd #输出以root 开头的行
awk '/nologin$/{print}' /etc/passwd #输出以nologin 结尾的行
awk 'BEGIN {x=0};/\/bin\/bash$/ {x++} ;END {print X}' /etc/passwd #统计以/bin/bash结尾的行数，等同于grep -c
"/bin/bash$" /etc/ passwd
BEGIN模式表示，在处理指定的文本之前，需要先执行BEGIN模式中指定的动作；awk再处理指定的文本，之后再执行END模式中指定的动作，END{}语句块中，往往会放入打印结果等语句
2.5 按字段输出文本
awk -F ":" ' {print $3}' /etc/passwd #输出每行中（以空格或制表位分隔）的第3个字段
awk -F ":" '{print $1,$3}' /etc/passwd #输出每行中的第1、3个字段
awk -F ":" '$3<5{print $1,$3}' /etc/passwd #输出第3个字段的值小于5的第1、3个字段内容
awk -F ":" '!($3<200) {print}' /etc/passwd #输出第3个字段的值不小于200的行
awk 'BEGIN {FS=":"};{if ($3>=200) {print}}' /etc/passwd #先处理完BEGIN的内容，再打印文本里面的内容
awk -F ":" '{max= ($3>$4)?$3:$4;{print max}}' /etc/passwd
#($3>$4)?$3:$4三元运算符，如果第3个字段的值大于第4个字段的值，则把第3个字段的值赋给max，否则第4个字段的值赋给max
awk -F ":" '{print NR,$0}' /etc/passwd #输出每行内容和行号，每处理完一条记录，NR值加1
awk -F ":" '$7~"/bash"{print $1}' /etc/passw #输出以冒号分隔且第7个字段中包含/bash的行的第1个字段
awk -F ":" '($1~"root")&&(NF==7) {print $1,$2}' /etc/passwd
#输出第1个字段中包含root且有7个字段的行的第1、2个字段
awk -F ":" '($7!="/bin/bash") && ($7!="/sbin/nologin") {print}' /etc/passwd
#输出第7个字段既不为/bin/bash，也不为/sbin/nologin的所有行
2.6 通过管道符号、双引号调用shell 命令
echo $PATH | awk 'BEGIN{RS=":"};END{print NR}'
#统计以冒号分隔的文本段落数，END{}语句块中，往往会放入打印结果等语句
awk -F ":" '/bash$/{print | "wc -l"}' /etc/passwd
#调用 wc -l 命令统计使用 bash 的用户的个数(即以bash结尾的行)，等同于grep -c "bash$" /etc/passwd
free -m | awk '/Mem:/ {print int($3/($3+$4)*100)"%"}'
#查看当前内存使用百分比（int 指字符类型，这里代表整数型，即没有小数点）
top -b -n 1 | grep Cpu | awk -F ',' '{print $4}' | awk '{print $1}'
#查看当前cpu空闲率，（-b -n 1表示只需要1次的输出结果）
整句命令意思是：动态输出一次进程的结果（top -b -n 1）；过滤出Cpu那一行(grep Cpu)；以逗号进行分隔，打印出第四列（awk -F ',' '{print $4}'）;接着打印出过滤出的第四列的第一个值（awk '{print $1}'）
date -d "$(awk -F "." '{print $1}' /proc/uptime) second ago" +"%F %H:%M:%S"
#显示上次系统重启的时间，等同于uptime: second ago为显示多少秒前的时间，+"%F %H:%M:%S"等同于+”%Y-%m-%d %H:%M:%S“的时间格式
awk 'BEGIN {n=0 ; while ("w" | getline) n++ ; {print n-2}}'
#调用w命令，并用来统计在线用户数；w命令可以获取当前在线的用户的详细信息；getline是取行；打印n-2行是因为w显示的信息的前两行是没有用的，所以去掉前两行。
awk 'BEGIN {"hostname" | getline ; {print $0}}'
#调用hostname命令，输出当前的主机名
当getline左右无重定向符“<”或“|”时，awk首先读取到了第一行，就是1，然后getline，就得到了1下面的第二行，就是2，因为getline之后，awk会改变对应的NF，NR，FNR和$0等内部变量，所以此时的$0的值就不再是1，而是2了，然后将它打印出来。
当getline左右有重定向符“<”或“|”时，getline则作用于定向输入文件，由于该文件是刚打开，并没有被awk读入一行，只是getline读入，那么getline返回的是该文件的第一行，而不是隔行。