Shell三剑客之awk


awk简述

在 Linux/UNIX 系统中,awk 是一个功能强大的编辑工具,逐行读取输入文本,默认以空格或tab键作为分隔符作为分隔,并按模式或者条件执行编辑命令。
AWK信息的读入也是逐行指定的匹配模式进行查找,对符合条件的内容进行格式化输出或者过滤处理,可以在无交互 的情况下实现相当复杂的文本操作,被广泛应用于 Shell 脚本,完成各种自动化配置任务。

awk的工作过程

第一步:执行BEGIN{action;… }语句块中的语句。

第二步:从文件或标准输入(stdin)读取一行,然后执行pattern{ action;… }语句块,它逐行扫描文件,从第一行到最后一行重复这个过程,直到文件全部被读取完毕。

第三步:当读至输入流末尾时,执行END{action;…}语句块。

BEGIN语句块在awk开始从输入流中读取行之前被执行,这是一个可选的语句块,比如变量初始化、打印输出表格的表头等语句通常可以写在BEGIN语句块中

END语句块在awk从输入流中读取完所有的行之后即被执行,比如打印所有行的分析结果这类信息汇总都是在END语句块中完成,它也是一个可选语句块。

pattern语句块中的通用命令是最重要的部分,也是可选的。如果没有提供pattern语句块,则默认执行{ print },即打印每一个读取到的行,awk读取的每一行都会执行该语句块。

awk的工作原理

sed命令常用于一整行的处理,而awk比较倾向于将一行分成多个“字段”然后再进行处理,且默认情况下字段的分隔符为空格或 tab 键。
awk 执行结果可以通过 print 的功能将字段数据打印显示

awk的基本格式及其内置变量

awk 选项 ‘模式或条件 {操作}’ 文件1 文件2…

-F “分隔符” 指明输入时用到的字段分隔符,默认的分隔符是若干个连续空白符
-v(小v) var=value 变量赋值

注意一定是单引号:‘模式或条件 {操作}’
{ }外指定条件,{ }内指定操作。
用逗号指定连续的行,用 || 指定不连续的行。&&表示”且“。
内建变量,不能用双引号括起来,不然系统会把它当成字符串。

内置变量
$0:	当前处理的行的整行内容 
$n:	当前处理行的第n个字段(第n列)
NR:	当前处理的行的行号(序数)
NF:	当前处理的行的字段个数。$NF代表最后一个字段
FS:	列分割符。指定每行文本的字段分隔符,输入内容的分隔符,
默认为空格或制表位。与"-F"作用相同 用-F可以不加单引号 -F:,用FS必须用=""
OFS:输出内容的列分隔符
FILENAME:被处理的文件名
RS:	行分隔符。awk从文件中读取资料时,
将根据RS的定义把资料切割成许多条记录,而awk一次仅读入一条记录进行处理。预设值是"\n"

在这里插入图片描述
0和1放置{ }前,能够起到限制打印内容的作用(默认为"1"),如果为0,就不打印内容
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

getline

getline的工作过程

1、当getline左右无重定向符号(“<”)或者管道符号(“|”)时,awk首先读取的是第一行,而getline获取的是光标跳转至下一行的内容(也就是第二行)。

2、当getline左右有管道符号或重定向符时,getline则作用定向输入文件,由于文件是刚打开,并没有被awk读入一行,而只是getline读入,所以getline返回的是文件的第一行,而不是跳转至一行输入。

原因:getline运行之后awk会改变NF,NR,$0,FNR等内部变量,所以此时读取$0的行号不再为1,而是2。

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
把ls的输出传递给getline函数,line是变量 把ls的内容输出给变量,然后打印出结果,如果无内容,不做任何操作

文本内容匹配过滤打印

在这里插入图片描述

BEGIN打印模式:
格式:awk ‘BEGIN{…};{…};END{…}’ 文件
处理过程:
1、在awk处理指定的文本之前,需要先执行BEGIN{…}模式里的命令操作
2、中间的{…} 是真正用于处理文件的命令操作
3、在awk处理完文件后才会执行END{…}模式里的命令操作。END{ }语句块中,往往会放入打印结果等语句。

在这里插入图片描述

对字段进行处理打印

在这里插入图片描述

-v的用法:变量赋值

在这里插入图片描述
fs的是:然后使用-v给FS赋值=:,输入的时候FS是:,-v给OFS赋值输出的时候变量为+,然后打印第一列和第三列

条件判断打印

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

awk的三元表达式与精准筛选用法

awk的三元表达式继承了java的用法,格式与Java相似

格式:awk ‘(条件表达式)?(A表达式或者值):(B表达式或者值)’

在这里插入图片描述

awk的精准筛选:

$n(> < ==):  用于对比数值
$n~"字符串": 代表第n个字段包含某个字符串
$n!~"字符串": 代表第n个字段不包含某个字符串
$n=="字符串": 代表第n个字段为某个字符串
$n!="字符串": 代表第n个字段不为某个字符串
$NF: 代表最后一个字段

在这里插入图片描述
在这里插入图片描述

awk的分隔符用法

RS 指定行分隔符:
awk从文件中读取资料时,将根据RS的定义把资料切割成许多条记录,
而awk一次仅读入一条记录进行处理。内置变量RS的预设值是"\n" 也就是换行。
也可以使用BEGIN模式在操作前进行行分隔符的改变
在这里插入图片描述

指定输出的分隔符

OFS:输出内容的列分隔符。

($n=$n用于激活,否则不生效,n必须存在)

在这里插入图片描述

awk结合数组运用

awk中定义数组打印:
在这里插入图片描述
awk中的数组形成遍历
在这里插入图片描述

面试题

监控内存脚本(当内存使用率>90%就报警)

Mem_total=$(free -m | grep -w Mem | awk '{print $2}')
Mem_used=$(free -m | grep -w Mem | awk '{print $3}')

a=$(echo "scale=2;($Mem_used/$Mem_total)*100"|bc)
Mem=`echo $a|awk -F. '{print $1}'`
if [ $Mem -gt 90 ]
then
   echo "内存使用超过90%,请清理内存"
else
   echo "系统安全,请放心使用,内存使用情况:$Mem%"
fi

监控CPU使用情况脚本

top -b -n 1 | awk 'NR==3{print}'| awk '{print "目前CPU的使用情况:"$2+$4}'

监控磁盘使用情况脚本(当磁盘使用率>90%就报警)

 a=$(df -T | awk 'NR==2{print}' | awk '{print $4}')

 b=$(df -T | awk 'NR==2{print}' | awk '{print $5}')
 c=$(echo "scale=2;($a/$b)*100"|bc)

sum=`echo $c |awk -F. '{print $1}'`
if [ $sum -gt 90 ]
then
   echo "磁盘使用超过90%,请清理磁盘"
else
   echo "系统安全,请放心使用,磁盘使用情况:$sum%"
fi

猜你喜欢

转载自blog.csdn.net/ll945608651/article/details/129867919