Linux学习——awk

习题

awk打印奇/偶数行

/* sed实现 */
seq 10|sed -n "1~2p"
seq 10|sed -n "2~2p"
/* awk实现 */
seq 10|awk 'i=!i'
seq 10|awk '!(i=!i)'

筛选访问量超过80的ip（）

awk '{print $1}' ./access_log|sort|uniq -c|sort -nr|awk '$1>=80{print}'

随机取100个数，找出最大和最小值

/* 生成随机数 */
    (echo -n "$RANDOM";for((i=0;i<100;i++));do echo -n ",$RANDOM";done )>./random.txt
/* 比较 */
    awk -F"," '{max=$1;min=$1;i=2;while(i<=NF){if($i>max){max=$i}else if($i<min){min=$i};i++;}} END {print "Max="max"\n""Min="min}' random.txt
/* 检查 */
    cat random.txt|tr "," "\n" |sort -nr

awk实现1+2+..+100

/* 第一种方法 */
    awk 'BEGIN{sum=0;i=1;while(i<=100){sum+=i;i++}{print sum}}'
/* 第二种 */
    echo {1..100}|awk -F"+" awk'{sum=0;i=1;while(i<=100){sum+=i;i++;}{print sum}}'

计算平均成绩（先准备号文件并先筛选出需要的列）

/* 四个参数 */
    awk '!/^name/{if($3=="m"){score_m+=$2;num_m++}else if($3=="f"){score_f+=$2;num_f++}}END{print "av_m="score_m/num_m,"av_f="score_f/num_f}' ./score.txt 
/* 两个参数 */
    awk '!(NR==1){score[$3]+=$2;num[$3]++}END{for(sex in num){if(sex=="m"){print "av_m="score[sex]/num[sex]}else if(sex=="f"){print "av_f="score[sex]/num[sex]}}}' ./score.txt 
    awk 'NR!=1{score[$3]+=$2;num[$3]++}END{for(sex in num){print sex":av="score[sex]/num[sex]}}' ./score.txt

统计/etc/fstab文件中每个单词出现的次数

    awk '{for(i=1;i<=NF;i++)word[$i]++}END{for(i in word){print word[i],i}}' /etc/fstab

AWK

• grep过滤文件
• sed不光可以过滤，还可以写正则表达式修改文件
• awk能格式化文本输出，让结果按着我们定义的语法格式输出

GNU awk（gawk）

• 基本用法
  • awk [options] ‘program’ var=value file…，这里program是awk自己的格式
  • awk [options] -f programfile var=value file…，也可以把内容写到文件中，再调用文件
  • awk [options] 'BEGIN{ action;… } pattern{ action;… } END{ action;… }' file ...
• awk 程序通常由：BEGIN语句块、能够使用模式匹配的通用语句块、 END语句块，共3部分组成
• program被单/双引号引中，一般用单引号，program中的分隔符可以用双引号
• 选项
  • -F 指明输入时用到的字段分隔符
  • -v var=value: 自定义变量

awk语言

1. awk [options] 'program' file…

• program:pattern{action statements;..}
• pattern和action
  • pattern部分决定动作语句何时触发及触发事件
  • action statements对数据进行处理，放在{}内指明
• 分割符、域和记录
  • 与shell中的$符号意义不同，awk执行时，由分隔符分隔的字段（域）标记$1,$2..$n称为域标识。 $0为所有域
  • 文件的每一行称为记录
  • 省略action，则默认执行 print $0 的操作
  • 默认分隔符是空格

awk工作原理

• 第一步：执行BEGIN{action;… }语句块中的语句
• 第二步：从文件或标准输入(stdin)读取一行，然后执行pattern{ action;… }语句块，它 逐行扫描文件，从第一行到最后一行重复这个过程，直到文件全部被读取完毕。
• 第三步：当读至输入流末尾时，执行END{action;…}语句块
• BEGIN语句块在awk开始从输入流中读取行之前被执行，这是一个可选的语句块，比如 变量初始化、打印输出表格的表头等语句通常可以写在BEGIN语句块中
• END语句块在awk从输入流中读取完所有的行之后即被执行，比如打印所有行的分析 结果这类信息汇总都是在END语句块中完成，它也是一个可选语句块
• pattern语句块中的通用命令是最重要的部分，也是可选的。如果没有提供pattern语句 块，则默认执行{ print }，即打印每一个读取到的行，awk读取的每一行都会执行该语句块

awk简单使用

1. awk '{print "hello,awk"}'

• 不说明内用来源的话，awk会根据接收的键盘输入来输出

1. awk –F: '{print}' /etc/passwd

• 打印/etc/passwd下的全部内容，不给定print的内容，默认全部打印$0

1. awk –F: ‘{print “wang”}’ /etc/passwd

• 根据条件筛选

1. awk –F: ‘{print $1}’ /etc/passwd

• 这里的$不是位置变量，而是域标识

1. awk –F: ‘{print $0}’ /etc/passwd

• 全部打印

1. awk –F: ‘{print $1” \t”$3}’ /etc/passwd

• 中间加入一个tab分隔符

1. tail –3 /etc/fstab |awk ‘{print $2,$4}'

• awk支持接收管道输入

awk变量

变量：内置变量

1. FS：输入字段分隔符，默认为空白字符

• awk -v FS=':' '{print $1,FS,$3}’ /etc/passwd
• awk –F: '{print $1,$3,$7}’ /etc/passwd

1. OFS：输出字段分隔符，默认为空白字符

• awk -v FS=‘:’ -v OFS=‘:’ '{print $1,$3,$7}’ /etc/passwd

1. RS：输入记录分隔符，指定输入时的换行符

• awk -v RS=' ' ‘{print }’ /etc/passwd

1. ORS：输出记录分隔符，输出时用指定符号代替换行符

• awk -v RS=' ' -v ORS='###'‘{print }’ /etc/passwd 5.NF：字段数量
• awk -F： ‘{print NF}’ /etc/fstab,引用内置变量不用$
• awk -F: '{print $(NF-1)}' /etc/passwd

1. NR：记录号

• awk '{print NR}' /etc/fstab ; awk END'{print NR}' /etc/fstab

1. FNR：各文件分别计数,记录号

• awk '{print FNR}' /etc/fstab /etc/inittab

1. FILENAME：当前文件名

• awk '{print FILENAME}’ /etc/fstab

1. ARGC：命令行参数的个数

• awk '{print ARGC}’ /etc/fstab /etc/inittab
• awk ‘BEGIN {print ARGC}’ /etc/fstab /etc/inittab

1. ARGV：数组，保存的是命令行所给定的各参数

• awk ‘BEGIN {print ARGV[0]}’ /etc/fstab /etc/inittab
• awk ‘BEGIN {print ARGV[1]}’ /etc/fstab /etc/inittab

awk自定义变量（区分字符大小写）

1. -v var=value

• awk -v test='hello gawk' '{print test}' /etc/fstab
• awk -v test='hello gawk' 'BEGIN{print test}

1. 在program中直接定义

• awk 'BEGIN{test="hello,gawk";print test}'
• awk –F:‘{sex=“male”;print $1,sex,age;age=18}’ /etc/passwd
• cat awkscript ;{print script,$1,$2} ;awk -F: -f awkscript script=“awk” /etc/passwd

printf

1. 格式化输出：printf “FORMAT” , item1, item2, ...

• 必须指定FORMAT
• 不会自动换行，需要显式给出换行控制符，\n
• FORMAT中需要分别为后面每个item指定格式符

1. 格式符：与item一一对应

• %c: 显示字符的ASCII码 -%d, %i: 显示十进制整数
• %e, %E:显示科学计数法数值
• %f：显示为浮点数
• %g, %G：以科学计数法或浮点形式显示数值
• %s：显示字符串
• %u：无符号整数
• %%: 显示%自身

1. 修饰符

• #[.#]：第一个数字控制显示的宽度；第二个#表示小数点后精度，%3.1f
• -: 左对齐（默认右对齐） %-15s
• +：显示数值的正负符号 %+d

1. 示例

• awk -F: ‘{printf "%s",$1}’ /etc/passwd
• awk -F: ‘{printf "%s\n",$1}’ /etc/passwd
• awk -F: '{printf "%-20s %10d\n",$1,$3}' /etc/passwd
• awk -F: ‘{printf "Username: %s\n",$1}’ /etc/passwd
• awk -F: ‘{printf “Username: %s,UID:%d\n",$1,$3}’ /etc/passwd
• awk -F: ‘{printf "Username: %15s,UID:%d\n",$1,$3}’ /etc/passwd
• awk -F: ‘{printf "Username: %-15s,UID:%d\n",$1,$3}’ /etc/passwd

操作符

1. 算术操作符

• +,-,*,/,^,%
• -x转化为负数
• +x转换为数值

1. 赋值操作符

• =, +=, -=, *=, /=, %=, ^=,++, --
• 注意分别i和i的区别

1. 比较操作符

• ==, !=, >, >=, <, <=

1. 模式匹配符

• ~：左边是否和右边匹配包含 !~：是否不匹配

df |awk -F" +|%" '$0 ~ /^\/dev\/sd/{print $1,$5}'

• 示例
  • awk –F: '$0 ~ /root/{print $1}‘ /etc/passwd
  • awk '$0~“^root"' /etc/passwd
  • awk '$0 !~ /root/‘ /etc/passwd
  • awk –F: ‘$3==0’ /etc/passwd

1. 逻辑操作符

• 与&&,或||,非!；与shell表达式不同
• 示例
  • awk –F: '$3>=0 && $3<=1000 {print $1}' /etc/passwd
  • awk -F: '$3==0 || $3>=1000 {print $1}' /etc/passwd
  • awk -F: ‘!($3==0) {print $1}' /etc/passwd
  • awk -F: ‘!($3>=500) {print $3}’ /etc/passwd

1. 三目（条件）表达式（条件？真...:假...）

awk -F: '{$3>=1000?a="common user":a="system user";printf("%-30s,%-s\n",$1,a)}' /etc/passwd

1. awk '/pattern/{...}'

• 未指定模式，那就匹配每一行
• /pattern/仅处理pattern能够模式匹配到的行
  • awk '/^UUID/{print $1}' /etc/fstab
  • awk '!/^UUID/{print $1}' /etc/fstab
• 关系表达式，根据结果真假来处理，为真才会处理
  • 真：满足条件；结果不为0；非空字符串，这些都是真
  • 假：不满足条件；结果为0；空字符串，这些是假

/* 这里i=1后面省略了{print $0} */
1. awk -F: 'i=1;j=1{print i,j}' /etc/passwd
/* 为真值处理，为假值不处理 */
2. awk ‘!0’ /etc/passwd 
    awk ‘!1’ /etc/passwd
/* 结果为真，输出1-10 */
    seq 10 |awk ‘i=1’
/* 结果为假，不处理 */
seq 10 |awk ‘i=0’
/* i初值为空，所以此时的实际条件是非空，即真，输出，下一步是非真，即假，不处理；最后输出奇数行 */
seq 10 | awk 'i=!i‘
seq 10 | awk '{i=!i;print i}‘
/* 输出偶数行 */
seq 10 | awk ‘!(i=!i)’
/* 先给i赋初值使其不为空，所以结果显示为偶数行 */
seq 10 |awk -v i=1 'i=!i'

• line ranges行范围，与sed不同，不能直接用行号来匹配，需要NR记录号来进行匹配，也可以正则表达式匹配
  • awk -F: 'NR>=1 && NR<=3' /etc/passwd
  • sed -n '1,3p' /etc/passwd
  • awk -F":" '/b/,/d/' /etc/passwd
  • sed -n '/b/,/d/p' /etc/passwd
• BEGIN/END模式
  • BEGIN{}:仅在开始处理文件中的文本之前执行一次
  • END{}:仅在文本处理完成之后执行一次

/* begin/end示例 */
    awk -F : 'BEGIN {print "USER USERID"} {print $1":"$3} END{print "end file"}'
/etc/passwd
/* begin和end单独使用 */
    awk -F : '{print "USER USERID“;print $1":"$3} END{print "end file"}' /etc/passwd
    awk -F: 'BEGIN{print " USER UID \n--------------- "}{print $1,$3}' /etc/passwd
    awk -F: 'BEGIN{print " USER UID \n--------------- "}{print $1,$3}'END{print
"=============="} /etc/passwd

awk action

• 组合语句{ statements;… }，支持多个命令输入，分号隔开

1. awk控制语句

• { statements;… } 组合语句，statements只有一个时，可以不加{}
• if(condition) {statements;…}
• if(condition) {statements;…} else {statements;…}
• while(conditon) {statments;…}
• do {statements;…} while(condition)
• for(expr1;expr2;expr3) {statements;…}
• break
• continue
• delete array[index]
• delete array
• exit

awk控制语句if-else

1. 只有一个statements，{}可以不加

/* 筛选文件中出现连接50次以上的IP */
    awk -F" " '{print $1}' ./access_log |sort|uniq -c|sort -nr|awk '{if($1>50){print $0}}'
/* 其它示例 */
    awk -F: '{if($3>=1000)print $1,$3}' /etc/passwd
    awk -F: '{if($NF=="/bin/bash") print $1}' /etc/passwd
    awk '{if(NF>5) print $0}' /etc/fstab
    awk -F: '{if($3>=1000) {printf "Common user: %s\n",$1} else {printf "root or Sysuser: %s\n",$1}}'
/etc/passwd
    awk -F: '{if($3>=1000) printf "Common user: %s\n",$1; else printf "root or Sysuser: %s\n",$1}'
/etc/passwd
    df -h|awk -F% '/^\/dev/{print $1}'|awk '$NF>=80{print $1,$5}‘
    awk 'BEGIN{ test=100;if(test>90){print "very good“}else if(test>60){ print "good"}else{print "no pass"}}'

awk控制语句while

1. 语法：while(condition){statement;…}，条件为真进入循环，为假退出
2. 使用场景

• 对一行内的多个字段逐一类似处理时使用
• 对数组中的各元素逐一处理时使用

1. do-while循环

• do {statement;…}while(condition)
• 意义：无论真假，至少执行一次循环体

1. 示例

• awk '/^[[:space:]]*linux16/{i=1;while(i<=NF) {print $i,length($i); i++}}' /etc/grub2.cfg
• awk ‘/^[[:space:]]*linux16/{i=1;while(i<=NF) {if(length($i)>=10) {print
• awk 'BEGIN{ total=0;i=0;do{ total+=i;i++;}while(i<=100);print total}’ $i,length($i)}; i++}}’ /etc/grub2.cfg

for

1. 语法：for(expr1;expr2;expr3) {statement;…}
2. 特殊用法，可以遍历数组
3. 示例

• awk '/^[[:space:]]*linux16/{for(i=1;i<=NF;i++) {print $i,length($i)}}' /etc/grub2.cfg

1. 性能比较，awk>bc>while>for

switch

1. 语法：switch(expression) {case VALUE1 or /REGEXP/: statement1; case VALUE2 or /REGEXP2/: statement2; ...; default: statementn}

其它控制语句

1. break和continue

/* 奇数和 */
    awk ‘BEGIN{sum=0;for(i=1;i<=100;i++)
{if(i%2==0)continue;sum+=i}print sum}‘
/# i=66结束循环输出结果#/
    awk ‘BEGIN{sum=0;for(i=1;i<=100;i++)
{if(i==66)break;sum+=i}print sum}

1. next

• 提前结束对本行处理而直接进入下一行处理（awk自身带的循环）

/* 跳过奇数行显示 */
    awk -F: '{if($3%2!=0) next; print $1,$3}' /etc/passwd

awk关联数组array[index-expression]

1. index-expression

• 可使用任意字符串；字符串要使用双引号括起来
• 如果某数组元素事先不存在，在引用时，awk会自动创建此元素，并将其值 初始化为“空串”，不需要事先声明数组
• 若要判断数组中是否存在某元素，要使用“index in array” 格式进行遍历
  • 使用for(var in array){for-body}循环遍历
  • awk 'BEGIN{weekdays["mon"]="Monday";weekdays["tue"] ="Tuesday";for(i in weekdays) {print weekdays[i]}}‘

1. 示例

/* 不用声明自动创建数组 */
    awk 'BEGIN{weekdays["mon"]="Monday";
weekdays["tue"]="Tuesday";print weekdays["mon"]}‘
/* 去除冗余 */
    awk '!arr[$0]++' testfile
    sort -u testfile

1. 键值对

• arr["key"]=value

/* 使用相同属性作为下标标签 */
    netstat -tan | awk '/^tcp/{state[$NF]++}END
{for(i in state) { print i,state[i]}}'
    awk '{ip[$1]++}END{for(i in ip) {print i,ip[i]}}' /var/log/httpd/access_log

awk函数

1. 数值处理

• rand()：返回0-1之间的一个随机数，但是要实现随机，要先srand()

/* 生成一个随机数 */
    awk 'BEGIN{srand();print rand()}'
/* 取0-100之间的一个随机数 */
    awk 'BEGIN{srand();print rand()*100}'
/* 取随机数整数部分 */
    awk 'BEGIN{srand();print int(rand()*100)}'

1. 字符串处理

• length([s])：返回指定字符串的长度
• sub(r,s,[t])，在t字符串中搜索r模式能匹配到的字符，并将第一个搜索到的结果用s替代
  • echo "2008:08:08 08:08:08"|awk 'sub(/:/,"-",$1)'
  • echo "2008:08:08 08:08:08"|awk 'sub(":","-",$1)'
• gsub(r,s,[t])：在t字符串中搜索r模式能匹配到的字符内容，并全部替换为s所表示的内容
  • echo "2008:08:08 08:08:08"|awk 'gsub(/:/,"-",$1)'
  • echo "2008:08:08 08:08:08"|awk 'gsub(/:/,"-",$0)'

1. split(s,array,[r]):以r作为分隔符，切割字符串s，并将切割后的结果保存至array所表示的数组中，系统默认第一个索引值为1,第二个索引值为2,…

/* 两个数组,ip、count，实现查看IP地址连接情况 */
    netstat -nt|awk '/^tcp\>/{split($5,ip,":");count[ip[1]]++}END{for(i in count){print count[i],i}}'

1. 自定义函数

    function name ( parameter, parameter, ... ) {
        statements
        return expression

• 示例

    cat fun.awk
    function max(x,y) {
        x>y?var=x:var=y
        return var
    }
    BEGIN{a=3;b=2;print max(a,b)}
    awk –f fun.awk

awk中调用shelk命令

1. 用system命令实现
2. 除了awk的变量外其他一律用""引用起来

/* awk独自实现筛选异常数量连接的ipbing放到防火墙中 */
    awk '{ip[$1]++}END{for( i in ip){if(ip[i]>=1000)system("iptables -A INPUT -s "i" -j REJECT")}}' /var/log/httpd/access_log

awk脚本和向awk脚本中传递参数

1. 把awk命令放到文件中，再用awk -f file调用就行了

    vim f1.awk
    {if($3>=1000)print $1,$3}
/* 保存退出 */
    awk -F: -f f1.awk /etc/passwd

1. 写成脚本，附加执行权限

    cat f2.awk
/* 用的是/bin/awk */
#!/bin/awk –f
#this is a awk script
    {if($3>=1000)print $1,$3}
chmod +x f2.awk
path/f2.awk –F: /etc/passwd

1. 向awk脚本中传递参数

• awkfile var=value var2=value2... Inputfile
  • 在BEGIN过程中不可用。直到首行输入完成以后，变量才可用。可以通 过-v 参数，让awk在执行BEGIN之前得到变量的值。不过命令行中每一个指定的变 量前都需要一个-v参数

cat test.awk
#!/bin/awk –f
    {if($3 >=min && $3<=max)print $1,$3}
chmod +x test.awk
test.awk -F: min=100 max=200 /etc/passwd
/* 也可以加上-v */
test.awk -F: -v min=100 -v max=200 /etc/passwd

---