文本处理工具三剑客：awk、sed、grep

grep：文本过滤器
能够根据指定的模式去查找匹配到模式的行，并将相应的行显示出来。
sed：流编辑器
默认的编辑结果不会保存到原文件当中而是输出到屏幕上。
一、awk：报告生成器
从文本文件当中抽取符合条件的信息，并以特定格式（格式化以后）比较美观的显示出来。

1、awk的基本用法

awk [options] 'script' file1,file2, ... 
awk [options] 'PATTERN { action }' file1 file2, ..
     print，printf

[options]：指定选项，（指定输入分隔符）
script ：指定报告格式化的脚本，主要由PATTERN 和{ action }组成
file1,file2, …：指定文件内容的来源
这表示awk可以从多个文本文件中读取信息，而后根据所指定的脚本将其格式化为特定格式，显示出来。
PATTERN：模式，awk处理文本文件中哪些能被模式匹配到的行
action：匹配到以后，做出响应的动作处理，一般做的处理就是显示出来。而常用的显示命令有：print，printf。
print：简单的打印，将要显示的条目显示逐个显示出来。
printf ：可以自定义显示格式，比如显示的位宽，左对齐还是右对齐，显示为字符串还是数值等等。

2、awk的基本处理机制

根据所定义的模式依次从文件中抽取一行文本，抽取出来之后，awk会对自动对其进行切片，将每一行按照分隔符进行切片。


awk默认情况下（不指定options）将空格当做输入分隔符（也可在options位置指定额外字符作为分隔符）切成四个片段，而且这四个片段在awk内部可以使用一个变量来引用（这个变量完全类似脚本的位置参数）。
$0 : 表示引用这一整行文本$1 ... $n :表示每一个切片

awk默认情况下(不指定PATTERN )使用空格作为输出的分隔符，下面j举例用’：’作为输出分隔符的使用方法：

BEGIN：称为一个PATTERN （模式）

3、awk的输出：
print的使用格式：
print item1, item2, …
要点：
1、各项目之间使用逗号隔开，而输出时则以空白字符分隔；
2、输出的item可以为字符串或数值、当前记录的字段$1、变量或awk的表达式；数值会先转换为字符串，而后再输出；
3、print命令后面的item可以省略，此时其功能相当于print $0, 因此，如果想输出空白行，则需要使用print “”；

输出的item可以为字符串或数值， 将字符串或数值使用双引号引起来，与其他item用逗号隔开。

例子：

awk 'BEGIN { print "line one\nline two\nline three" }'
输出结果：
line one
line two
line three
awk -F: '{ print $1, $3 }' /etc/passwd

3、awk变量

3.1、awk内置变量之记录变量：
FS: field separator，读取文件本时，所使用字段分隔符；
RS: Record separator，输入文本信息所使用的换行符；
OFS: Output Filed Separator:，输出字段分隔符
ORS：Output Row Separator，输出行分隔符

awk -F: ##指定输入分隔符（读取文本）
OFS=”#” ##指定输出分隔符号为# (显示文本)
FS=”:” ##以’:’作为输入分隔符，输入分隔符号也可以用FS来指定

3.2、awk内置变量之数据变量
NR: The number of input records，awk命令所处理的记录数；如果有多个文件，这个数目会把处理的多个文件中行统一计数；
NF：Number of Field，当前处理的行有多少个字段；

awk '{print NF}' test.txt
4
awk '{print $NF}' test.txt ##输出最后一个字段
test.

FNR：与NR不同的是，FNR各自计数；
ARGV: 数组，保存命令行本身这个字符串，如awk ‘{print $0}’ a.txt b.txt这个命令中，ARGV[0]保存awk，ARGV[1]保存a.txt；
ARGC: awk命令的参数的个数；
FILENAME: awk命令所处理的文件的名称；
ENVIRON：当前shell环境变量及其值的关联数组；

如：awk ‘BEGIN{print ENVIRON[“PATH”]}’

3.3、用户自定义变量
gawk允许用户自定义自己的变量以便在程序代码中使用，变量名命名规则与大多数编程语言相同，只能使用字母、数字和下划线，且不能以数字开头。gawk变量名称区分字符大小写。

3.3.1、在脚本中赋值变量
在gawk中给变量赋值使用赋值语句进行，例如：

awk 'BEGIN{var="variable testing";print var}' ##awk中打印变量值不需要加$符的。
variable testing

action有多个语句时，要使用分号隔开。

3.3.2、在命令行中使用赋值变量
gawk命令也可以在“脚本”外为变量赋值，并在脚本中进行引用。例如，上述的例子还可以改写为：

awk -v var="variable testing" 'BEGIN{print var}'

4、printf
printf命令的使用格式：
printf format, item1, item2, …

要点：
1、其与print命令的最大不同是，printf需要指定format；
2、format用于指定后面的每个item的输出格式；
3、printf语句不会自动打印换行符；\n

format格式的指示符都以%开头，后跟一个字符；如下：
%c: 显示字符的ASCII码；
%d, %i：十进制整数；
%e, %E：科学计数法显示数值；
%f: 显示浮点数；
%g, %G: 以科学计数法的格式或浮点数的格式显示数值；
%s: 显示字符串；
%u: 无符号整数；
%%: 显示%自身；

上面的指示符都可以用修饰符修饰：
N: 指定有多少位的显示宽度；
-:左对齐，不加 - 表示右对齐；
+：显示数值符号；

例子：

this后面有6个空格，a后面有9个空格，格式和格式之间，字符串和字符串之间可以不需要使用’”,”

显示每个用户的id号：

指定冒号为输入分隔符，将/etc/passwd 每一行的第三个片段，以5位的显示宽度,左对齐显示出来。(如果需要换行并左对齐，将换行符\n加在print”printf%5d后面，并%-5d)

awk -F: '{print "%-5d\n,$3"}' /etc/passwd
0
1
2
3
...

5、awk的操作符
awk支持算数表达式，并支持算数运算。

5.1、算术操作符：

-x: 负值
+x: 转换为数值；
x^y:
x**y: 次方
x*y: 乘法
x/y：除法
x+y:
x-y:
x%y:

5.2、字符串操作符：
只有一个，而且不用写出来，用于实现字符串连接；

5.3、赋值操作符：

=   
+=
-=
*=
/=
%=
^=
**=
++
--

需要注意的是，如果某模式为=号，此时使用/=/可能会有语法错误，应以/[=]/替代；

5.4、布尔值

awk中，任何非0值或非空字符串都为真，反之就为假；

5.5、比较操作符：
x < y True if x is less than y.
x <= y True if x is less than or equal to y.
x > y True if x is greater than y.
x >= y True if x is greater than or equal to y.
x == y True if x is equal to y.
x != y True if x is not equal to y.
x ~ y x是个字符串，y是个正则表达式所表示的模式，x如果能被y指定模式匹配到就为真
x !~ y 不能匹配到就为假
subscript in array 在指定的数组array中有subscript这么个元素，就为真

5.6、表达式间的逻辑关系符：
&&
||

5.7、条件表达式：
selector?if-true-exp:if-false-exp ##三目操作符，最前面是一个布尔表达式
即：

if selector; then
  if-true-exp
else
  if-false-exp
fi

a=3
b=4
a>b?a is max:b ia max

5.8、函数调用：
function_name (para1,para2）

6、awk的模式
awk [options] ‘PATTERN { action }’ file1 file2, ..
awk的难点在于PATTERN 和 action

6.1、常见的PATTERN 类型：

1、Regexp: 正则表达式

显示以r开头的用户名

awk '/^r/{print $1}' /etc/passwd
root
rpc

以空格为输入分隔附符，只处理/etc/passwd中以r开头的行,并显示第一个片段。

2、expresssion： 表达式，其值非0或为非空字符时满足条件。

如：$1 ~ /foo/ 或 $1 == "magedu"，用运算符~(匹配)和!~(不匹配)。
显示id号大于等于500的用户
awk -F: '$3>=500{print $1，$3}' /etc/passwd
root 0
studnt 500

显示默认shell为bash的用户
awk -F: '$7~"bash$"{print $1，$7}' /etc/passwd
root /bin/bash
student /bin/bash

显示默认shell不为bash的用户
awk -F: '$7!~"bash$"{print $1，$7}' /etc/passwd

3、Ranges： 指定的匹配范围，从第几个模式到第几个模式，指定一个行的范围

awk -F: '/^r/,/^m/{print{$1,$7}' /etc/passwd
第一个以r开头的行到第一个以m开头的行，之间的所有行

4、BEGIN/END：特殊模式，仅在awk命令执行前运行一次或结束前运行一次
awk每读取一行，脚本就处理一次，BEGIN是在脚本反复执行之前，所处理的脚本，END是在读取完最后一行并用脚本处理后，所执行的脚本。

总结：
/正则表达式/：使用通配符的扩展集。

关系表达式：可以用下面运算符表中的关系运算符进行操作，可以是字符串或数字的比较，如$2>%1选择第二个字段比第一个字段长的行。

模式匹配表达式：

模式，模式：指定一个行的范围。该语法不能包括BEGIN和END模式。

BEGIN：让用户指定在第一条输入记录被处理之前所发生的动作，通常可在这里设置全局变量。

END：让用户在最后一条输入记录被读取之后发生的动作。
5、Empty(空模式)：匹配任意输入行

6.2、常见的Action

1、Expressions             ##表达式：赋值表达式，判断表达式
2、Control statements      ##控制语句：条件判断：if else，case 三个循环：while，do-while，for
3、Compound statements     ##符合语句
4、Input statements        ##输入输出语句，比如将内容重定向到什么地方进行输出的
5、Output statements

7、控制语句（actions）

7.1、if-else

if-else
语法：if (condition) {then-body} else {[ else-body ]} ##多个语句时，需要使用花括号；如果只有一个语句，可以省略花括号

例子：
awk -F: '{if ($1=="root") print $1, "Admin"; else print $1, "Common User"}' /etc/passwd
以“:”作为分隔符，读取/etc/passwd，如果某一行的$1为root，打印“$1  "Admin"”，否则打印“$1 Common User”

awk -F: '{if ($1=="root") printf "%-15s: %s\n", $1,"Admin"; else printf "%-15s: %s\n", $1, "Common User"}' /etc/passwd
逻辑和第一个一样，对输出结果进行了格式化：左对齐、每个字段用15个字节且以字符串的形式显示、并在显示出的两个字符串之间加了“:”

awk -F: -v sum=0 '{if ($3>=500) sum++}END{print sum}' /etc/passwd
id号大于500的用户有多少个：
-v 声明一个变量，sum=0；每读取一行，看这一行的$3是否大于等于500，如果是，sum在自身基础上加1；最后读取完最后一行并执行脚本后，输出sum

7.2、while（循环字段，需要对每个字段做单独处理会用到）

while
语法： while (condition){statement1; statment2; ...} 

awk -F: '{i=1;while (i<=NF) { if (length($i)>=4) {print $i}; i++ }}' /etc/passwd
显示/etc/passwd中字节超过4的字段
先声明一个循环体控制变量i=1，循环条件是i小于NF（当前行的字段总数），如果对应的字段长度大于等于4，将$i打印出来。如果不满足条件，i++；

7.3、do-while
while需要先判断条件，条件满足才开始循环，而do-while不条件满不满足先执行一轮循环体，执行以后再进行判断。

do-while
语法： do {statement1, statement2, ...} while (condition)

7.4、 for

for
语法： for ( variable assignment; condition; iteration process) { statement1, statement2, ...}

awk -F: '{for(i=1;i<=NF;i++) { if (length($i)>=4) {print $i}}}' /etc/passwd
输出/etc/passwd中字节大于等于4的字段的总数目

7.5 case（支持多分支的判断）

case
语法：switch (expression) { case VALUE or /REGEXP/: statement1, statement2,... default: statement1, ...}
switch (表达式)，如果这个表达式的值为1怎么办，如果为2怎么办，如果为3怎么办。于是 statement1，statement2...

7.6 break 和 continue*
常用于循环或case语句中,用于提前结束循环。循环是用来遍历每一个字段的，continue可以提前去处理下一个字段。

7.7 next
提前结束对本行文本的处理，并接着处理下一行；例如，下面的命令将显示其ID号为奇数的用户：

awk -F: '{if($3%2==0) next;print $1,$3}' /etc/passwd

8、awk中使用数组

8.1、数组

awk的默认数组下标从1开始，且完全可以自己去定义，不用使用1，2，3也行。可以使用任意字符串当做下标。

awk[mon]=1
awk[tus]=2
引用这个数组元素1或2的时候，使用mon或者tus当数组下标即可

要遍历数组中的每一个元素，需要使用如下的特殊结构（for循环）：

for (var in array) { statement1, ... }
自己定义一个变量var in 数组名称array，然后进行循环，其中，var用于引用数组每一个下标，而不是元素值；

对于/etc/passwd的每一行都要执行 “shell[$NF]++”这个脚本，NF是每一行的最后一个字段，这里是shell类型。第一行是root，其shell类型是/bin/bash。
取完第一行之后就生成了一个数组shell[/bin/bash],/bin/bash当做数组下边来用。
++，在awk中数组变量第一次引用的时候初始值为0，++之后变为1。如果第二行生成的数组还是shell[/bin/bash]，那么shell[/bin/bash]会继续++变为2。
即，只要有一个用户的shell类型和shell数组下标相同时，让这个下标对应的元素值加一。
A是这个shell数组的每一个下标的名称，
显示的最终结果是：以这个shell类型为其默认shell的个数

再用awk数组举一枚小例子：统计已建立的TCP连接中每一种state出现的次数

netstat -ant | awk '/^tcp/{STATE[$NF]++}END{for (S in STATE) {print S,STATE[S]}}'
每出现一次被/^tcp/模式匹配到的行，数组S[$NF]就加1，NF为当前匹配到的行的最后一个字段，此处用其值做为数组S的元素索引；

统计某日志文件中IP地的访问量

awk '{counts[$1]++}; END {for(IP in counts) print counts[IP], IP}' /var/log/httpd/access_log
web的访问日志中的第一个字段都是IP地址，将每一个客户端的IP地址当做counts数组的下标，将日志的每一行都读一遍然后做++，每一个IP地址访问一次就会被统计一次。

8.2 、删除数组变量

从关系数组中删除数组索引需要使用delete命令。使用格式为：

delete  array[index]

9、awk的内置函数

split(string, array [, fieldsep [, seps ] ])
功能：将string表示的字符串以fieldsep为分隔符进行分隔，并将分隔后的结果保存至array为名的数组中；数组下标为从0开始的序列；

netstat -ant | awk '/:80\>/{split($5,clients,":");IP[clients[1]]++}END{for(i in IP){print IP[i],i}}' | sort -rn | head -50

length([string])
功能：返回string字符串中字符的个数；

substr(string, start [, length])
功能：取string字符串中的子串，从start开始，取length个；start从1开始计数；

system(command)
功能：执行系统command并将结果返回至awk命令

systime()
功能：取系统当前时间

tolower(s)
功能：将s中的所有字母转为小写

toupper(s)
功能：将s中的所有字母转为大写

十一、用户自定义函数

自定义函数使用function关键字。格式如下：

function F_NAME([variable])
{
    statements
}

函数还可以使用return语句返回值，格式为“return value”。