awk是一种编程语言，gawk是目前最新的版本，当前的Linux版本用的都是gawk，利用gawk可以实现数据查找、抽取文件中数据、创建管道流命令等功能，awk实际是/bin/gawk的链接。
4.3.1 awk编程模型
awk程序由一个主输入循环main input loop维持，主输入循环反复执行，直到终止条件被触发，主输入循环自动依次读取输入文件行，以供处理，而处理文件行的动作是由程序员添加的。
awk还定义了两个特殊的字段：BEGIN和END，BEGIN用于在主输入循环之前执行，即在未读取输入文件之前执行，END则相反，用于在主输入循环之后执行，即在读取输入文件行完毕后执行。
4.3.2 awk调用方法
跟sed类似，也有三种方式：
① 在shell命令行直接输入命令调用，格式为：
awk [-F 域分隔符] 'awk程序段' 输入文件
② 将awk程序段插入脚本文件，然后通过awk命令调用它，格式为：
awk -f awk脚本文件 输入文件
③ 将sed命令插入脚本文件后，将该文件变成可执行，然后直接执行，不过需要一#!/bin/awk -f 开头
./awk脚本文件 输入文件
4.4.1 awk模式匹配
# awk '/^$/{print "this is a blank line."}' input --> 打印空白行，遇到空白行就打印一句话
第三种调用方式，先写个src.awk脚本文件：
#!/bin/awk -f
/^$/{print "this is a blank line."}
然后chmod u+x src.awk，然后./src.awk input即可
4.4.2 记录和域
awk将每个输入文件行定义为记录，行中每个字符串定义为域，域之间用空格、Tab键或其他符号进行分割，称之为分隔符。
$1表示第一个域，$2表示第二个域以此类推。注：$0表示所有的域
使用 -F 选项指定分隔符：
# awk -F "\t" '{print $3}' test.txt
还可以通过设置FS的值改变分隔符：
# awk 'BEGIN {FS=","} {print $1}' test.txt
# awk 'BEGIN {FS="\t+"} {print $1}' test.txt --> 利用正则表达式设置分隔符
4.4.3 awk 关系和布尔运算符
| 运算符 | 意义 |
| < | 小于 |
| > | 大于 |
| <= | 小于等于 |
| >= | 大于等于 |
| == | 等于 |
| != | 不等于 |
| ~ | 匹配正则表达式 |
| !~ | 不匹配正则表达式 |
使用正则表达式~符号例子
# awk 'BEGIN {FS=":"} $1~/root/' /etc/passwd --> 在/etc/passwd文件中第一个域匹配root的
# awk 'BEGIN {FS=":"} $0~/root/' /etc/passwd --> 全部域匹配root的
# awk 'BEGIN {FS=":"} $0!~/nologin/' /etc/passwd --> 全部域不匹配nologin的
awk的条件语句示例
# awk 'BEGIN {FS=":"} {if($3<$4) print $0}' /etc/passwd
# awk 'BEGIN {FS=":"} {if($3==10 || $4==10) print $0}' /etc/passwd
# awk 'BEGIN {FS=":";count=0} {if($3>99) count++} END {print count}' /etc/passwd --> 列出系统中UID大于99的账号数量
4.4.4 表达式
+ - * / %(模) ^或**(乘方) ++x x++
# awk '/^$/ {print x+=1}' input
一个计算平均值的awk脚本：
#!/bin/awk -f
BEGIN {FS=","}
{
total=$3+$4+$5
avg=total/3
print "result:" + avg
}
4.4.5 awk系统变量：
| 变量名 | 意义 |
| $n | 当前记录第 n个域，域间用FS分隔 |
| $0 | 记录的所有域 |
| ARGC | 命令行参数的数量 |
| ARGIND | 命令行中当前文件的位置（以0开始标号） |
| ARGV | 命令行参数数组 |
| CONVFMT | 数字转换格式 |
| ENVIRON | 环境变量关联数组 |
| ERRNO | 最后一个系统错误描述 |
| FIELDWIDTHS | 字段宽度列表，空格键分割 |
| FILENAME | 当前文件名 |
| FNR | 浏览文件的记录数 |
| FS | 字段分隔符，默认是空格 |
| IGNORECASE | 布尔变量，如果为真，忽略大小写 |
| NF | 当前记录中的域数量 |
| NR | 当前记录数，从1开始，表示当前是第几条记录 |
| OFMT | 数字的输出格式 |
| OFS | 输出域分隔符，默认是空格键 |
| ORS | 输出记录分隔符，默认是\n |
| RLENGTH | 由match函数所匹配的字符串长度 |
| RS | 记录分隔符，默认是\n |
| RSTART | 由match函数匹配的字符串的第1个位置 |
| SUBSEP | 数组下标分隔符，默认是\034 |
另外还有个RT：
RT就是当RS为正则表达式时的匹配到的每个记录的分割符的内容即为RT变量表示，用到RS的时候一般可以用RT作为每次匹配的分割符的变量的值，靠，这么解释你还不清楚就去面壁去吧。^_^
# echo "111 222a333 444b555 666"|awk 'BEGIN{RS="[a-z]+"}{print $1,RS,RT}'
当RT是利用RS匹配出来的内容。如果RS是某个固定的值时，RT就是RS的内容
示例：打印19000行至20000行
# awk '{if(NR>= 19900 && NR<=20000) print $0}' /data/log/resin/resin.log
判断log日志中通过日期的比较来打印：
# awk -F, 'BEGIN{now=systime();aa=strftime("%Y-%m-%d %H:%M:%S", now)}{if ($2 > aa) print $0}' input
# awk -F, 'BEGIN{now=mktime("2013 10 05 12 12 12 333");aa=strftime("%Y-%m-%d %H:%M:%S", now)}{if ($2 > aa) print $0}' input
4.4.6 格式化输出
awk使用类似于C语言的printf函数格式化输出
基本语法是：printf (格式控制符, 参数)
# awk 'BEGIN {FS=","} {printf("%-15s\t%s\n",$1,$3)} ' input.txt
下面这个例子没有输入文件，直接打印一个数字，很神奇吧。
# awk 'BEGIN {printf("%-10.3f\n", 2009.12345)}'
4.4.7 内置字符串函数
字符串替换、查找、分割功能，有很多内置函数，let me see see：
| 函数名 | 意义 |
| gsub(r,s) | 在整个$0中用s替换r |
| gsub(r,s,t) | 在t中用s替换r，t可以是字符串也可以是域 |
| index(s,t) | 返回s中第一个字符串t的位置，从1开始 |
| length(s) | 返回s的长度 |
| match(s,t) | 测试s是否包含匹配t的字符串，t可以是正则式 |
| split(r,s,t) | 在t上利用分割正则式r分割成序列s |
| sub(r,s,t) | 将t中第一次出现的r替换成s |
| substr(r,s) | 返回字符串r中从s开始的后缀部分 |
| substr(r,s,t) | 返回字符串r中从s开始长度为t的后缀部分 |
解释下
gsub函数执行字符串替换功能，它将第一个字符串替换成第二个字符串。gsub函数有两种形式，第一种形式作用于全部域$0，也就是gsub(r,s)。第二种形式作用于域t，也就是gsub(r,s,t)
// 第一条命令：替换第1域上的root字符串，注意我的输出的分隔符设定OFS
# awk 'BEGIN {FS=":"; OFS="+"} {gsub(/root/,"haha",$1); print $0}' /etc/passwd
# awk 'BEGIN {FS=":"; OFS="+"} gsub(/root/,"haha",$1) {print $0}' /etc/passwd
上面两行的席位区别，然后输出结果是：第一个命令会输出所有行，第二个只会输出gsub找到的那行，why
// index和length函数的用法
# awk 'BEGIN {print index("google.com", ".com")}'
# awk 'BEGIN {print length("google.com")}'
match(s,t)测试s是否包含正则表达式t字符串，若匹配成功，则返回t的首位置，若不成功，则返回0
# awk 'BEGIN {print match("grade one", /D/)}'
# awk 'BEGIN {IGNORECASE=1; print match("grade one", /D/)}'
// sub(r,s,t) 只是将t中第一次出现的r替换成s
# awk 'BEGIN {str="multiprocessors program"; sub(/pro/, "PRO", str); printf("%s\n", str)}'
// substr两个函数示例：
# awk 'BEGIN {str="multiprocessor programming"; print substr(str,6)}'
# awk 'BEGIN {str="multiprocessor programming"; print substr(str,6,9)}'
4.4.8 向awk脚本传递参数
格式为： awk脚本文件 param1=value1 param2=value2 输入文件
其中param可以是自定义变量，也可以是系统变量
注意：命令行参数不能被BEGIN中的语句访问到
4.4.9 条件语句和循环语句
这个跟C语言语法是一样的，不多做介绍了
# if (x==y) print x
# if (x ~ /[Hh]el?o) print x
while(cond) action
do action while(cond)
for (i=0; i<10; i++) print i
4.4.10 数组
array[index]=value
awk数组无需定义数组类型和大小，赋值后就能使用了，哦也。
1. 关联数组
关联数组其实就是一个Map，实际上awk数组就是一个Map，array[0]=12表示用字符串0为key，12为value
awk所有数组都是关联数组，array[09]跟array[9]完全不一样
基于上述的关联数组的含义，awk定义了一组foreach循环，而且很特殊的，跟java中还不一样：
for (var in array)
print array[var]
实际上var就相当于Map中的key，这样可以理解了吧，^_^
还有个条件表达式，相当于判断Map是否含有这个key值：
if (index in array) print "yes"
2. split函数
终于要到压轴大戏也就是大名鼎鼎的split函数了
split(r,s,t)：将字符串r以t为分隔符拆分成字符串数组，存放在s中。 并返回数组s的大小
# awk 'BEGIN {print split("abc/def/ghi",str,"/")}'
# awk 'BEGIN {FS=","} {print split($1,name," ")}' input.txt
再来看一下一个小小脚本：
#!/bin/awk -f
BEGIN {FS=","}
{
split($1,names," ");
for (i in names) print name[i]
}
3. 数组形式的系统变量
ARGV和ENVIRON两个
ARGC是ARGV数组中元素的个数
# awk -f argv.awk xyz n=99 "Hello World"
结果打印： awk，xyz，n=99,，Hello World
ENVIRON变量存储了Linux系统的环境变量
例如：
awk 'BEGIN {for(i in ENVIRON) print(i" = "ENVIRON[i])}'
4. awk 执行系统命令：
ls -l -c --time-style="+%Y-%m-%d" | awk '{if($6 == "2013-07-01") system("rm -rf " $7)}'
不小心在当前页面新建了很多文件，怎样马上删除呢？就是上面的例子
本人博客已搬家，新地址为：http://www.pycoding.com/