sed编辑器和awk编辑器
一、sed编辑器
1、什么是sed编辑器
（1）sed是一种流编辑器，流编辑器会在编辑器处理数据之前基于预先提供的一组规则来编辑数据流。
（2）sed编辑器可以根据命令来处理数据流中的数据，这些命令要么从命令行中输入，要么存储在一个命令文本文件中。
2、sed编辑器的工作流程
sed 的工作流程主要包括读取、执行和显示三个过程：
（1）读取：sed 从输入流（文件、管道、标准输入）中读取一行内容并存储到临时的缓冲区中（又称模式空间，pattern space）。
（2）执行：默认情况下，所有的sed 命令都在模式空间中顺序地执行，除非指定了行的地址，否则sed 命令 将会在所有的行上依次执行。
（3）显示：发送修改后的内容到输出流。在发送数据后，模式空间将会被清空。在所有的文件内容都被处理完成之前，上述过程将重复执行，直至所有内容被处理完。
在所有的文件内容都被处理完成之前，上述过程将重复执行，直至所有内容被处理完。
注意：默认情况下所有的sed命令都是在模式空间内执行的，因此输入的文件并不会发生任何变化，除非是用重定向存储输出。
3、sed的命令格式
(1)
格式1：sed -e ‘操作’ 文件1 文件2 ......
格式2：sed -n -e '操作' 文件1 文件2 .......
格式3：sed -f 脚本文件 文件1 文件2 .......
格式4：sed -i -e '操作' 文件1 文件2.......
格式5:
sed -e ' n {
操作1
操作2
.......
}' 文件1 文件2......
(2)常用选项
| -e或–expression= | 表示用指定命令来处理输入的文本文件，只有一个操作命令时可省略，一般在执行多个操作命令使用 |
|---|---|
| -f 或–file= | 表示用指定的脚本文件来处理输入的文本文件 |
| -h或–help | 显示帮助 |
| -n、–quiet或silent | 禁止sed编辑器输出，但可以与p命令一起使用完成输出 |
| -i | 直接修改目标文本文件 |
(3)常用操作
| s | 替换，替换指定字符 |
|---|---|
| d | 删除，删除选定的行 |
| a | 增加，在当前行下面增加一行指定内容 |
| i | 插入，在选定行上面插入一行指定内容 |
| c | 替换，将选定行替换为指定内容 |
| y | 字符转换，转换前后的字符长度必须相同 |
| p | 打印，如果同时指定行，表示打印指定行；如果不指定行，则表示打印所有内容；如果有非打印字符，则以 ASCII 码输出。其通常与“-n”选项一起使用 |
| = | 打印行号 |
| l(小写L） | 打印数据流中的文本和不可打印的ASCII字符（比如结束符$、制表符\t） |
4、sed命令使用示例
(1)打印内容
sed -n -e 'p' test5
sed -n -e '=' test5
sed -n -e 'l' test5
sed -n -e '=;p' test5
sed -n -e '=' -e 'p' test5
sed -n '
>=
>p
> ' test5
(2)使用地址
sed编辑器有2种寻址方式：
以数字形式表示行区间
用文本模式来过滤出行
sed -n '1p' test5
sed -n '$p' test5
sed -n '2,5p' test5
sed -n '2,+5p' test5
sed '5q' test5
#打印奇数行
#第一步：sed读取第一行，p打印出来
#第二步：这里n表示移动到下一行（此时是第二行）
#第三步：sed命令结束，再次切换到下一行（此时是第三行）
#第四步：重复一二三的步骤，直至最后一行
sed -n 'p;n' test5
#打印偶数行，和上面的步骤差不多
sed -n 'n;p' test5
sed -n '5,${n;p}' test5
sed -n '/root/p' /etc/passwd
sed -n '/^r'/p /etc/passwd
sed -n '/bash$'/p /etc/passwd
sed -n '/ftp\|root/p' /etc/passwd
sed -n '2,/nobody/p' /etc/passwd
sed -nr '/ro{1,}t/p' /etc/passwd
(3)删除行
sed 'd' test5
sed '3d' test5
sed '6,9d' test5
sed '$d' test5
sed '/^$/d' test5
sed '/e$/d' test5
sed '/e$/!d' test5
sed '/1/,/c/d' test6
(4)替换
格式：
sed [选项] '行范围 s/旧字符串/新字符串/替换标记'
4种替换标记：
数字：表明新字符串将替换第几处匹配的地方
g：表明新字符串将会替换所有匹配的地方
p：打印与替换命令匹配的行，与-n一起使用
w 文件：将替换的结果写到文件中
sed -n 's/root/admin/p' /etc/passwd
sed -n 's/root/admin/2p' /etc/passwd
sed -n 's/root/admin/gp' /etc/passwd
sed 's/root//gp' /etc/passwd
sed '1,20 s/^/#/' /etc/passwd
sed '/^root/ s/$/#/' /etc/passwd
vim test7 #创建一个用于sed命令的脚本，以sed结尾方便辨识
s/2/333/ #将2替换成333，下面以此类推
s/3/666/
s/A/AAA/
sed -f test7 test2
sed -n '1,5w out.txt' /etc/passwd
sed -n '1,20 s/^/#/w out1.txt' /etc/passwd
sed -n 's/\/bin\/bash/\/bin\/csh/p' /etc/passwd
sed -n 's!/bin/bash!/bin/csh!p' /etc/passwd
sed '/a/c ABC' test2
sed '/AB/ y/AB/23/' test2
(5)插入
sed '1,3a ABC' test2
sed '3i ABC' test2
sed '5r /root/bianji/test2' test3
sed '/abc/{H;d};$G' test2
sed '1,2H;3,4G' test2
二、awk编辑器
1、awk编辑器工作原理
(1)sed命令常用于一整行的处理，而awk比较倾向于将一行分成多个“字段”然后再进行处理。
(2)awk也是逐行读取文本，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令。执行结果可以通过print的功能将字段数据打印显示。
(3)在使用awk命令的过程中,可以使用逻辑操作符“&&”表示“与”、“||”表示“或”、“!”表示“非”；还可以进行简单的数学运算，如+、-、*、/、%、^分别表示加、减、乘、除、取余和乘方。
2、awk编辑器命令格式
awk 选项 '模式或条件 {操作}' 文件 1 文件 2 …
awk -f 脚本文件 文件 1 文件 2 …
awk常见的内建变量（可直接用）:
| FS | 列分割符。指定每行文本的字段分隔符，默认为空格或制表位。与"-F"作用相同 |
|---|---|
| NF | 当前处理的行的字段个数 |
| NR | 当前处理的行的行号（序数） |
| $0 | 当前处理的行的整行内容 |
| $n | 当前处理行的第n个字段（第n列） |
| FILENAME | 被处理的文件名 |
| RS | awk从文件上读取资料时,将根据RS的定义把资料切割成许多条记录,而awk一次仅读入一条记录,以进行处理。预设值是’\n’ |
3、awk编辑器使用示例
(1)按行输出文本
awk '{print}' test2
awk '{print $0}' test2
awk 'NR==1,NR==3{print}' test2
awk '(NR>=1)&&(NR<=3){print}' test2
awk 'NR==1||NR==3{print}' test2
awk '(NR%2)==1{print}' test2
awk '(NR%2)==0{print}' test2
awk '/^root/{print}' /etc/passwd
awk '/nologin$/{print}' /etc/passwd
awk 'BEGIN {x=0};/\/bin\/bash$/{x++};END {print x}' /etc/passwd
(2)按字段输出文本
awk -F ":" '{print $3}' /etc/passwd
awk -F ":" '{print $1,$3}' /etc/passwd
awk -F ":" '$3<5{print $1,$3}' /etc/passwd
awk -F ":" '!($3<200){print}' /etc/passwd
awk 'BEGIN {FS=":"};{if($3>=200){print}}' /etc/passwd
awk -F ":" '{max=($3>$4)?$3:$4;{print max}}' /etc/passwd
awk -F ":" '{print NR,$0}' /etc/passwd
awk -F ":" '$7~"/bash"{print $1}' /etc/passwd
awk -F ":" '($1~"root")&&(NF==7){print $1,$2}' /etc/passwd
awk -F ":" '($7!="/bin/bash")&&($7!="/sbin/nologin"){print}' /etc/passwd
(3)通过管道、双引号调用Shell命令
echo $PATH | awk 'BEGIN{RS=":"};END{print NR}'
awk -F: '/bash$/{print | "wc -l"}' /etc/passwd
grep -c "bash$" /etc/passwd
free -m | awk '/Mem:/ {print int($3/($3+$4)*100)}'
top -b -n 1 | grep Cpu | awk -F ',' '{print $4}' | awk '{print $1}'
date -d "$(awk -F "." '{print $1}' /proc/uptime) second ago" +"%F %H:%M:%S"
awk 'BEGIN {while ("w" | getline) n++ ; {print n-2}"%"}'
awk 'BEGIN {"hostname" | getline ; {print $0}}'
（1）当getline左右无重定向符“<”或“|”时，getline作用于当前文件，读入当前文件的第一行给其后跟的变量var或$0；由于awk在处理getline之前已经读入了`在这里插入代码片`一行，所以getline得到的返回结果是隔行的。
（2）当getline左右有重定向符“<”或“|”时，getline则作用于定向输入文件，由于该文件是刚打开，并没有被awk读入一行，只是getline读入，那么getline返回的是该文件的第一行，而不是隔行。