【文本处理命令】之awk命令详解

一、awk命令简介

　　awk 是一种很棒的语言，它适合文本处理和报表生成，其语法较为常见，借鉴了某些语言的一些精华，如 C 语言等。在 linux 系统日常处理工作中，发挥很重要的作用，掌握了 awk将会使你的工作变的高大上。 awk 是三剑客的老大，利剑出鞘，必会不同凡响。

　　awk是一种编程语言，用于在linux/unix下对文本和数据进行处理。数据可以来自标准输入(stdin)、一个或多个文件，或其它命令的输出。它支持用户自定义函数和动态正则表达式等先进功能，是linux/unix下的一个强大编程工具。它在命令行中使用，但更多是作为脚本来使用。awk有很多内建的功能，比如数组、函数等，这是它和C语言的相同之处，灵活性是awk最大的优势。

二、使用方法

2.1  格式

awk '{pattern + action}' {filenames}
awk [options] 'script' var=value file(s)
awk [options] -f scriptfile var=value file(s)

　　其中 pattern 表示 AWK 在数据中查找的内容，而 action 是在找到匹配内容时所执行的一系列命令。花括号（{}）不需要在程序中始终出现，但它们用于根据特定的模式对一系列指令进行分组。 pattern就是要表示的正则表达式，用斜杠括起来。

2.2 常用命令选项

• -F fs 　　fs 指定输入分隔符（可指定一个或多个），fs可以是字符串或正则表达式

• -v var=value 赋值一个用户定义变量，将外部变量传递给awk

• -f scriptfile 从脚本文件中读取awk命令

2.3 awk的内置变量

$n : 当前记录的第n个字段，比如n为1表示第一个字段，n为2表示第二个字段。
$0 : 这个变量包含执行过程中当前行的文本内容。
ARGC : 命令行参数的数目。
ARGIND : 命令行中当前文件的位置（从0开始算）。
ARGV : 包含命令行参数的数组。
CONVFMT : 数字转换格式（默认值为%.6g）。
ENVIRON : 环境变量关联数组。
ERRNO : 最后一个系统错误的描述。
FIELDWIDTHS : 字段宽度列表（用空格键分隔）。
FILENAME : 当前输入文件的名。
NR : 表示记录数，在执行过程中对应于当前的行号
FNR : 同NR :，但相对于当前文件。
FS : 字段分隔符（默认是任何空格）。
IGNORECASE : 如果为真，则进行忽略大小写的匹配。如：IGNORECASE=1表示忽略大小写

NF : 表示字段数，在执行过程中对应于当前的字段数。 print $NF打印一行中最后一个字段 OFMT : 数字的输出格式（默认值是%.6g）。 OFS : 输出字段分隔符（默认值是一个空格）。 ORS : 输出记录分隔符（默认值是一个换行符）。 RS : 记录分隔符（默认是一个换行符）。 RSTART : 由match函数所匹配的字符串的第一个位置。 RLENGTH : 由match函数所匹配的字符串的长度。 SUBSEP : 数组下标分隔符（默认值是34）。

 

2.4 运算符 

2.5 正则表达式

三、案例

 我们以passwd文件来操作。操作之前先备份好，使用备份的passwd文件操作

[root@VM_0_10_centos shellScript]# awk -F ":" '{print $1}' /tmp/passwd 
root
bin
# 这里可以使用“,”将打印的多个条件分隔，打印的效果会自动有空格。如果使用的是$1 $2，里边是用空格，那打印出来的第一列和第3列会挨在一起
[root@VM_0_10_centos shellScript]# awk -F ":" '{print $1,$3}' /tmp/passwd 
root 0
bin 1
[root@VM_0_10_centos shellScript]# awk -F ":" '{print $1 $3}' /tmp/passwd 
root0
bin1
或
[root@VM_0_10_centos shellScript]# awk -F ":" '{print $1 " " $3}' /tmp/passwd 
root 0
bin 1
# 使用制表符打印出信息
[root@VM_0_10_centos shellScript]# awk -F ":" '{print "user:"$1 "\tuid:"$3}' /tmp/passwd 
user:root    uid:0
user:bin    uid:1

1）只查看passwd文件（100内）第20到第30行内容。（面试）

[root@VM_0_10_centos shellScript]# awk '{if(NR>=20 && NR<=30) print $1}' /tmp/passwd 
abrt:x:173:173::/etc/abrt:/sbin/nologin
sshd:x:74:74:Privilege-separated
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
chrony:x:997:995::/var/lib/chrony:/sbin/nologin
tcpdump:x:72:72::/:/sbin/nologin
syslog:x:996:994::/home/syslog:/bin/false
mysql:x:27:27:MySQL
nagcmd:x:603:1000::/home/nagcmd:/sbin/nologin
nagios:x:604:1001::/home/nagios:/sbin/nologin
apache:x:1000:1002::/home/apache:/bin/bash
nginx:x:602:993:Nginx
# 不加$1打印20-30行所有内容
[root@VM_0_10_centos shellScript]# awk '{if(NR>=20 && NR<=30) print}' /tmp/passwd 
abrt:x:173:173::/etc/abrt:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
chrony:x:997:995::/var/lib/chrony:/sbin/nologin
tcpdump:x:72:72::/:/sbin/nologin
syslog:x:996:994::/home/syslog:/bin/false
mysql:x:27:27:MySQL Server:/var/lib/mysql:/bin/false
nagcmd:x:603:1000::/home/nagcmd:/sbin/nologin
nagios:x:604:1001::/home/nagios:/sbin/nologin
apache:x:1000:1002::/home/apache:/bin/bash
nginx:x:602:993:Nginx web server:/var/lib/nginx:/sbin/nologin
[root@VM_0_10_centos shellScript]# nl /tmp/passwd | awk '{if(NR>=20 && NR<=30) print}' 
    20    abrt:x:173:173::/etc/abrt:/sbin/nologin
    21    sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
    22    postfix:x:89:89::/var/spool/postfix:/sbin/nologin
    23    chrony:x:997:995::/var/lib/chrony:/sbin/nologin
    24    tcpdump:x:72:72::/:/sbin/nologin
    25    syslog:x:996:994::/home/syslog:/bin/false
    26    mysql:x:27:27:MySQL Server:/var/lib/mysql:/bin/false
    27    nagcmd:x:603:1000::/home/nagcmd:/sbin/nologin
    28    nagios:x:604:1001::/home/nagios:/sbin/nologin
    29    apache:x:1000:1002::/home/apache:/bin/bash
    30    nginx:x:602:993:Nginx web server:/var/lib/nginx:/sbin/nologin

 2）已知text.txt文件内容，打印出Poe和33794712，并以 Poe 33794712格式显示

[root@VM_0_10_centos shellScript]# cat test.txt 
I am Poe,my qq is 33794712

# 使用多个分隔符，先使用空格分割，然后对分割结果再使用","分割
[root@VM_0_10_centos shellScript]# awk -F "[ ,]" '{print $3,$7}' test.txt 
Poe 33794712
或
[root@VM_0_10_centos shellScript]# awk -F '[ ,]+' '{print $3,$7}' test.txt 
Poe 33794712

3）awk -F  指定分割字符

# -F 相当于内置变量FS
[root@VM_0_10_centos shellScript]#  awk 'BEGIN{FS=","} {print $1,$2}' test.txt 
2 this is a test 
3 Are you like awk 
This's a test 
10 There are orange apple

4）通过-v 设置变量

[root@VM_0_10_centos shellScript]# cat test.txt 
I am Poe,my qq is 33794712
2
7
[root@VM_0_10_centos shellScript]# awk -vx=12 '{print $1,$1+x}' test.txt 
I 12
2 14
7 19
[root@VM_0_10_centos shellScript]# awk -vx=12 '{print $1,$(1+x)}' test.txt 
I 
2 
7
[root@VM_0_10_centos shellScript]# awk -vx=12 -vy=i '{print $1,$1+x,$1y}' test.txt 
I 12 Ii
2 14 2i
7 19 7i

5）格式化输出

# 8s代表8个space  \n回车换行  %- 后面的-表示前面不空格，不加的话前面也会有8个空格
# 因为这里是打印的$1和$4,所以前面格式输出的有两个值：%-8s和%-10s
[root@VM_0_10_centos shellScript]# awk '{printf "%-8s %-10s\n",$1,$4}' test.txt 
I        qq        
2                  
7

 6）过滤第一列大于2、等于2、第一列大于2且第2列等于'Are'

[root@VM_0_10_centos shellScript]# awk '$1>2 {print $1,$3}' test.txt 
3 you
This's test
10 are
# 需注意，这里不能使用单=号，会被认为是赋值。判断是否等于要使用双等号==
[root@VM_0_10_centos shellScript]# awk '$1==2 {print $1,$3}' test.txt 
2 is
[root@VM_0_10_centos shellScript]# awk '$1=2 {print $1,$3}' test.txt 
2 is
2 you
2 test
2 are
[root@VM_0_10_centos shellScript]# awk '$1>2 && $2=="Are" {print $1,$3}' test.txt 
3 you

7）内置参数用法

NF：字段数　　NR：行号　　FNR：文本行号（文件计数的行号）

FS：记录是以什么为分隔符　　RS：默认分隔符（\n）　　FILENAME：当前文件名　　

OFS：输出记录分隔符（输出换行符），输出时用指定的符号代替换行符

ORS：输出记录分隔符(默认值是一个换行符)

[root@VM_0_10_centos shellScript]# cat test.txt 
2 this is a test
3 Are you like awk
This's a test
10 There are orange,apple,mongo
[root@VM_0_10_centos shellScript]#  awk 'BEGIN{printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n","FILENAME","ARGC","FNR","FS",
"NF","NR","OFS","ORS","RS";printf "---------------------------------------------\n"} {printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n",FILENAME,ARGC,FNR,FS,NF,NR,OFS,ORS,RS}'  test.txt 
FILENAME ARGC  FNR   FS   NF   NR  OFS  ORS   RS
---------------------------------------------
test.txt    2    1         5    1         
test.txt    2    2         5    2         
test.txt    2    3         3    3         
test.txt    2    4         4    4         
[root@VM_0_10_centos shellScript]# awk -F "," 'BEGIN{printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n","FILENAME","ARGC","FNR"
,"FS","NF","NR","OFS","ORS","RS";printf "---------------------------------------------\n"} {printf "%4s %4s %4s %4s %4s %4s %4s %4s %4s\n",FILENAME,ARGC,FNR,FS,NF,NR,OFS,ORS,RS}' test.txt 
FILENAME ARGC  FNR   FS   NF   NR  OFS  ORS   RS
---------------------------------------------
test.txt    2    1    ,    1    1         
test.txt    2    2    ,    1    2         
test.txt    2    3    ,    1    3         
test.txt    2    4    ,    3    4         

8）输出行号（行条数NR）及文件行号（FNR）

# $0　在这里是打印文件所有内容
[root@VM_0_10_centos shellScript]# awk '{print NR,FNR,$0}' test.txt 
1 1 2 this is a test
2 2 3 Are you like awk
3 3 This's a test
4 4 10 There are orange,apple,mongo

9）输出指定的分隔符

# 注意这里的$前后都加了空格，也可以不加空格，但是格式会比较紧凑
[root@VM_0_10_centos shellScript]# awk '{print $1,$2,$5}' OFS=" $ " test.txt 
2 $ this $ test
3 $ Are $ awk
This's $ a $ 
10 $ There $ 

10）使用正则，字符串匹配。匹配第2列包含“th”字符，并打印出第二列和第四列

~ 表示模式开始。// 中是模式。！~表示模式取反，不匹配搜索的行

[root@VM_0_10_centos shellScript]# awk '$2 ~ /th/ {print $2,$4}' test.txt 
this a

四、awk脚本模式

　　对于每个输入行， awk 都会执行每个脚本代码块一次。然而，在许多编程情况中，可能需要在 awk 开始处理输入文件中的文本之前执行初始化代码。对于这种情况， awk 允许您定义一个 BEGIN 块。

　　因为 awk 在开始处理输入文件之前会执行 BEGIN 块，因此它是初始化 FS（字段分隔符）变量、打印页眉或初始化其它在程序中以后会引用的全局变量的极佳位置。
　　awk 还提供了另一个特殊块，叫作 END 块。 awk 在处理了输入文件中的所有行之后执行这个块。通常， END 块用于执行最终计算或打印应该出现在输出流结尾的摘要信息。

格式：

• BEGIN{ 执行前的语句 }
• END {处理完所有的行后要执行的语句 }
• {处理每一行时要执行的语句}

案例：

1）通过脚本查看输出的效果

[root@VM_0_10_centos shellScript]# cat score.txt 
Marry   2143 78 84 77
Jack    2321 66 78 45
Tom     2122 48 77 71
Mike    2537 87 97 95
Bob     2415 40 57 62
[root@VM_0_10_centos shellScript]# cat awk_score.awk 
#/bin/awk -f
# 注意上面使用的bash
# 运行前，输出名称
BEGIN {
    Chinese = 0
    Math = 0
    English = 0

    printf "NAME      NO.      Chinese      Math      English       TOTAL\n"
    printf "-------------------------------------------------------------\n"
}
# 运行中
{
    Chinese += $3
    Math += $4
    English += $5
    printf "%-8s %-8s %6d %10d %10d %12d\n",$1,$2,$3,$4,$5, $3+$4+$5
}
# 运行后
END {
    printf "-------------------------------------------------------------\n"
    printf "  TOTAL:%16d %10d %10d \n",Chinese,Math,English
    printf "AVERAGE:%16.2f %10.2f %10.2f\n",Chinese/NR,Math/NR,English/NR
}
[root@VM_0_10_centos shellScript]# awk  -f awk_score.awk score.txt 
NAME      NO.      Chinese      Math      English       TOTAL
-------------------------------------------------------------
Marry    2143         78         84         77          239
Jack     2321         66         78         45          189
Tom      2122         48         77         71          196
Mike     2537         87         97         95          279
Bob      2415         40         57         62          159
-------------------------------------------------------------
  TOTAL:             319        393        350 
AVERAGE:           63.80      78.60      70.00

2）计算文件大小

[root@VM_0_10_centos shellScript]# ls -l *.sh
-rwxr-xr-x 1 root root  675 Oct  8 14:36 addUser.sh
-rwxr-xr-x 1 root root 1148 Oct 10 09:34 autoCreateUser.sh
-rwxr-xr-x 1 root root  559 Oct  9 08:46 checkMem.sh
-rwxr-xr-x 1 root root  338 Oct  9 08:58 checkRoot.sh
-rwxr-xr-x 1 root root  574 Oct 10 10:28 createUsers.sh
-rwxr-xr-x 1 root root  425 Oct 10 10:22 delUsers.sh
-rwxr-xr-x 1 root root  628 Oct 14 09:16 modifyExtension.sh
-rwxr-xr-x 1 root root  121 Oct 12 18:19 mulTable.sh
-rwxr-xr-x 1 root root  844 Oct 10 10:56 numSort.sh
-rwxr-xr-x 1 root root  518 Oct 12 17:41 progressBar2.sh
-rwxr-xr-x 1 root root  784 Oct 12 16:38 progressBar.sh
-rwxr-xr-x 1 root root  213 Oct 14 15:54 randowName.sh
-rwxr-xr-x 1 root root  239 Oct 14 16:05 sum.sh
-rwxr-xr-x 1 root root   33 Oct  8 14:50 test.sh
[root@VM_0_10_centos shellScript]# ls -l *.sh | awk '{sum+=$5} END {print sum}'
7099

3）打印九九乘法表

[root@VM_0_10_centos shellScript]# seq 9 | sed 'H;g' | awk -v RS='' '{for(i=1;i<=NF;i++)printf("%dx%d=%d%s", i, NR, i*NR, i
==NR?"\n":"\t")}'
1x1=1
1x2=2    2x2=4
1x3=3    2x3=6    3x3=9
1x4=4    2x4=8    3x4=12    4x4=16
1x5=5    2x5=10    3x5=15    4x5=20    5x5=25
1x6=6    2x6=12    3x6=18    4x6=24    5x6=30    6x6=36
1x7=7    2x7=14    3x7=21    4x7=28    5x7=35    6x7=42    7x7=49
1x8=8    2x8=16    3x8=24    4x8=32    5x8=40    6x8=48    7x8=56    8x8=64
1x9=9    2x9=18    3x9=27    4x9=36    5x9=45    6x9=54    7x9=63    8x9=72    9x9=81

4）统计passwd账户人数

[root@VM_0_10_centos shellScript]# awk '{count++;} END{print "USER Total:" count}' /tmp/passwd 
USER Total:35
[root@VM_0_10_centos shellScript]# awk 'BEGIN {COUNT=0;print "[start]:" COUNT} {COUNT++;} END{print "USER Total:" COUNT }' 
/tmp/passwd [start]:0
USER Total:35
[root@VM_0_10_centos shellScript]# awk 'BEGIN {COUNT=0;print "[start]:" COUNT} {COUNT+=1;} END{print "USER Total:" COUNT }'
 /tmp/passwd [start]:0
USER Total:35

5）查询某个文件字节大小

[root@VM_0_10_centos shellScript]# ll users.txt | awk 'BEGIN {SIZE=0} {SIZE=$5+SIZE} END {print "[end] SIZE:" SIZE}'
[end] SIZE:68
或
[root@VM_0_10_centos shellScript]# ll numSort.sh | awk 'BEGIN {SIZE=0} {SIZE=$5+SIZE} END {print "[end] SIZE:" SIZE/1024/10
24 ,"M"}'[end] SIZE:0.000804901 M

补充单位换算：

 6）经典：查看服务器的连接状态

[root@VM_0_10_centos shellScript]# netstat -an|awk '/^tcp/ {++s[$NF]} END{for(a in s)print a,s[a]}'
LISTEN 7
ESTABLISHED 3
TIME_WAIT 3

7）查看日志访问情况

awk '{a[$7]+=$10;++b[$7];total+=$10}END{for(x in a)print b[x],x,a[x]|"sort -rn -k1";print
"total size is :"total}' /app/log/access_log