Shell正则表达式篇：awk工具；sort工具；uniq工具和tr工具

前言：

• 通常情况下 awk 所使用的命令格式如下所示，其中，单引号加上大括号“{}”用于设置对数据进行的处理动作。awk 可以直接处理目标文件，也可以通过“-f”读取脚本对目标文件进行处理。
• awk 从输入文件或者标准输入中读入信息，与 sed 一样，信息的读入也是逐行读取的。不同的是 awk 将文本文件中的一行视为一个记录，而将一行中的某一部分（列）作为记录中的一个字段（域）。为了操作这些不同的字段，awk 借用 shell 中类似于位置变量的方法， 用$1、$2、$3…顺序地表示行（记录）中的不同字段。另外 awk 用$0 表示整个行（记录）。不同的字段之间是通过指定的字符分隔。awk 默认的分隔符是空格。awk 允许在命令行中用“-F 分隔符”的形式来指定分隔符

awk工具：

awk 包含几个特殊的内建变量（可直接用）

awk 包含几个特殊的内建变量（可直接用）：
FS：指定每行文本的字段分隔符，默认为空格或制表位。FS等同于“F”
NF：当前处理的行的字段个数。
NR：当前处理的行的行号（序数）。
$0：当前处理的行的整行内容。
$n：当前处理行的第 n 个字段（第 n 列）。
FILENAME：被处理的文件名。
RS：数据记录分隔，默认为\n，即每行为一条记录。

按行输出文本

[root@localhost conf]# cat cba.txt ##输出所有内容,等同于 cat
[root@localhost conf]# awk ‘{print$0}’ cba.txt ##也是输出所有内容,等同于 cat

[root@localhost conf]# awk ‘NR1,NR3{print}’ cba.txt ##输出1-3行内容
[root@localhost conf]# awk ‘(NR>=1)&&(NR<=3){print}’ cba.txt ##也是输出1-3行内容

[root@localhost conf]# awk ‘NR1||NR3{print}’ cba.txt ##输出第 1 行、第 3 行内容

[root@localhost conf]# awk ‘(NR%2)==1{print}’ cba.txt ##输出所有奇数行的内容

[root@localhost conf]# awk ‘(NR%2)==0{print}’ cba.txt ##输出所有偶数行的内容

[root@localhost conf]# awk ‘/^root/{print}’ /etc/passwd ##输出以root 开头的行

[root@localhost conf]# awk ‘/nologin$/{print}’ /etc/passwd ##输出以 nologin 结尾的行

统计以/bin/bash 结尾的行数,等同于 grep -c “/bin/bashKaTeX parse error: Expected 'EOF', got '#' at position 36: …localhost conf]#̲ awk 'BEGIN {x=…/{x++};END {print x}’ /etc/passwd

统计以空行分隔的文本段落数，后面跟绝对路径
[root@localhostconf]#awk’BEGIN{RS=”"};END{printNR}’/etc/httpd/conf/abc.txt

[root@localhost conf]# awk ‘{print $3}’ cba.txt ##输出每行中(以空格或制表位分隔)的第 3 个字段
cba.txt中的以空格为分隔，第三字段内容，将内容输出出来

按字段输出

[root@localhost conf]# awk ‘{print $1,$3}’ cba.txt ##输出每行中的第 1、3 个字段

[root@localhost conf]# awk -F “:” ‘$7~"/bash"{print $1}’ /etc/passwd
##输出以冒号分隔且第 7 个字段中包含/bash 的行的第 1 个字段

[root@localhost conf]# awk ‘($1~“nfs”)&&(NF==8){print $1,$2}’ /etc/services
##输出包含 8 个字段且第 1 个字段中包含 nfs 的行的第 1、2 个字段

[root@localhostconf]#awk-F":"’($7!="/bin/bash")&&($7!="/sbin/nologin"){print}’ /etc/passwd
输出第 7 个字段既不为/bin/bash 也不为/sbin/nologin 的所有行

通过管道、双引号调用 Shell 命令

[root@localhost conf]# awk -F: '/bashKaTeX parse error: Expected 'EOF', got '#' at position 34: …' /etc/passwd #̲#调用wc -l 命令统计使用…" /etc/passwd

[root@localhost conf]# awk ‘BEGIN {while (“w” | getline) n++ ; {print n-2}}’ ##调用w 命令,并用来统计在线用户数

[root@localhost conf]# awk ‘BEGIN { “hostname” | getline ; print $0}’ ##调用hostname,并输出当前的主机名

sort 工具:

• sort 是一个以行为单位对文件内容进行排序的工具，也可以根据不同的数据类型来排序。例如数据和字符的排序就不一样。sort 命令的语法为“sort [选项] 参数”

常用的选项包括以下几种

-f：忽略大小写；
-b：忽略每行前面的空格；
-M：按照月份进行排序；
-n：按照数字进行排序；
-r：反向排序；
-u：等同于 uniq，表示相同的数据仅显示一行；
-t：指定分隔符，默认使用[Tab]键分隔；
-o <输出文件>：将排序后的结果转存至指定文件；
-k：指定排序区域。

[root@localhost conf]# sort /etc/passwd ##将/etc/passwd 文件中的账号进行排序

[root@localhost conf]# sort -t ‘:’ -rk 3 cba.txt ##将cba.txt 文件中第三列进行反向排序

[root@localhost conf]# sort -t ‘:’ -k 3 cba.txt -o a.txt ##将cba.txt文件中第三列进行排序，并将输出内容保存至 a.txt文件中

uniq 工具：

• uniq 工具在 Linux 系统中通常与 sort 命令结合使用，用于报告或者忽略文件中的重复行。具体的命令语法格式为：uniq [选项] 参数

常用选项包括以下几种

-c：进行计数；-d：仅显示重复行；-u：仅显示出现一次的行

删除a.txt文件中的重复行

[root@localhost conf]# uniq a.txt ##将重复的行删除

[root@localhost conf]# uniq -c a.txt ##删除a.txt文件中的重复行，并在行首显示该行重复出现的次数

[root@localhost conf]# uniq -d a.txt ##查找a.txt文件中的重复行

tr工具：

• tr 命令常用来对来自标准输入的字符进行替换、压缩和删除。可以将一组字符替换之后变成另一组字符，经常用来编写优美的单行命令，作用很强大tr 具体的命令语法格式为：tr [选项] [参数]

其常用选项包括以下内容

-c：取代所有不属于第一字符集的字符
-d：删除所有属于第一字符集的字符
-s：把连续重复的字符以单独一个字符表示
-t:先删除第一个字符比较第二个字符集多出的字符

[root@localhost conf]# echo “KGC” | tr ‘A-Z’ ‘a-z’ ##将输入字符由大写替换为小写

[root@localhost conf]# echo “thissss isa text linnnnnnne.” | tr -s 'sn’压缩输入重复字符

[root@localhost conf]# echo ‘hello world’ | tr -d ‘od’ ##删除字符串中的某些字符