Awk
awk：文本三剑客之一，是功能最强大的文本工具
awk也是按行来进行操作，对行操作完之后，可以根据指定命令来对行取列
awk的分隔符，默认分隔符是空格或tab键，多个空格会压缩成一个
awk的用法
awk的格式：awk 选项 '模式或条件{操作}' 文件 在awk中操作默认就是打印
模式或条件：这么干 操作：操作结果 文件：操作的对象
例：打印第一列
awk '{print $1}' test.txt
$0打印全部内容
awk '{print $1,$2,$3}' test.txt
常用选项：
-F：指定分隔符，如果是空格，不需要加
-v：变量赋值（用的少）
awk常用的内置变量：
$0：打印所有的内容
$n(n为数字)：处理行的第n列
NR：处理行的行号
NF：处理当前行的字段个数 $NF：表示最后一个字段
FS：列分隔符，指定文本的分隔符，和F作用一致 格式 FS="："
不常用的：OFS输出文本的分隔符
RS：行分隔符，指定分隔符为回车
除了内置变量$n,其他的内置变量不用加$,不能用引号，也不能用括号，否则会被当成字符串处理
awk的打印功能：
awk '{print}' test.txt 打印所有，默认就是1
awk '0{print}' 什么都不打印
awk '{print NR}' test.txt 只打印行号
awk '{print NR,$0}' test.txt 既显示行号也显示内容
指定打印第三行 awk 'NR==3{print}' test.txt
打印第二行到第四行 awk 'NR==2,NR==4{print}' test.txt
奇偶打印：awk 'NR%2==0{print}' test.txt 打印偶数行
awk 'NR%2==1{print}' test.txt 打印奇数行
awk的运算功能：awk 'BEGIN{print 10+20}'
也支持小数运算 3**2或3^2 求幂即次方
面试题：awk的内置函数：getline
1、如果getline左右没有重定向符号(>,<) 或者没有管道符是，awk会先读第一行，但是如果加了getline，会跳过第一行，去读第二行
例：awk '{getline；print}' test.txt 只打印第二行和第四行，跳过了第一行和第三行
相当于打印奇数行
2、如果两边有重定向或管道符，getline作用于定向输入文件
例：awk '{getline < "test1.txt"；print > "test2.txt"}' test1.txt
先从test1获取test1的内容输入到test2，作用对象为test1
3、管道符
例：ls | awk '{getline ky30；print $0,ky30；}'
ky30为自定义变量
ls输出的结果传给ky30，打印ls命令的输出结果
如果没有结果，打印空，不做如何操作
awk作为文本过滤进行打印
打印以root开头的 awk '/^root/{print}' test.txt
BEGIN模式更复杂的操作
awk 'BEGIN{..}；{..}；END{..}' 文件
在对文件进行操作之前，会先执行BEGIN{..}模式条件或命令操作
中间的{..}是真正的用于处理文件的命令
END{..}结束语句，一般都是打印执行结果
面试题：如何通过awk获取文件里有多少行
awk 'BEGIN{i=0}；{i+1}；END{print i}' test.txt
意思为test.txt有多少行就打印多少次
了解即可：-v 变量赋值，指的是改变分隔符
例：把分隔符：换成@
awk -v FS=":" -v OFS="2" '{print $1,$3}' /etc/passwd
awk的条件判断打印：
awk -F：'$3>10{print}' /etc/passwd | head -n 15 把passwd第三列大于10的全打印出来
取反 awk -F： '($4<10){print}' /etc/passwd | head -n 15 把第四列除了大于10的都打印出来
awk支持条件判断语句
awk -F：'{if ($3=10) {print}}' /etc/passwd 打印第三列等于10的内容
三元表达式：类似于JAVA 面试会问
格式：awk '(条件表达式)?(A表达式或值)：(B表达式或值)'
?相当于if ：相当于else
例：awk -F：'{i=($3>$4)?$3：$4；{print;}' /etc/passwd
如果满足第三列大于第四列就打印第三列，不满足就打印第四列
awk的精确筛选：>，<，= 比较数值
比较字符串：
$n~ "字符串"：表示第n个字段包含某个字符串
$n！~ "字符串"：表示不包含某个字符
$n== "字符串"：表示第n个字符串就是某个字符
$n!= "字符串"：表示不是某个字符串的选出来
$NF：表示最后一个字段
例：awk -F：'$7~"bash" {print $1,$NF}' /etc/passwd
打印第七个字段包含bash的第一例和最后一列
awk -F：'$7~"nologin" {print $1,$3}' /etc/passwd
第七个字段不是nologin，打印第一和第三个字段
awk -F：'($6=="home/dn")&&($7=="/bin/bash"){print $1,$NF}'
指定第六个字段为/home/dn 而且第七个字段是/bin/bash
&&相当于而且
awk -F：'($3!=0)||($4>10) {print $1}' /etc/passwd
所有第三列不是0或者第四列大于10的结果，打印第一列
awk结合数组来进行使用
在awk中怎么来定义数组
awk 'BEGIN{a[0]=10;a[1]=20;a[2]=30;for(i in a)print i , a[i]}'
取的是a的索引 i in的是a的索引 0，1，2是a的索引
去重统计
awk '{a[$1]++};END{for(i in a)}{print i,a[i]}' test.txt
面
提取host.txt主机名后再放回host.txt文件
awk -F '[ .]+' '{print $2}' ms.txt
正则表达式是一种用于匹配文本模式的工具，而Awk是一种用于处理文本和数据的编程语言。Awk通常与正则表达式一起使用，以在文本数据中查找、处理和转换特定模式。
在Awk中，正则表达式被用于以下方面：
-
模式匹配： Awk使用正则表达式来识别文本中的模式。这可以用于从文本中提取特定格式的数据，或者对满足特定条件的行执行操作。
-
条件处理： Awk允许您基于正则表达式匹配来执行不同的操作。您可以根据文本中的某些模式或特征来决定是否应用某些处理逻辑。
-
字段处理： Awk将输入文本划分为字段，并且您可以使用正则表达式来匹配和操作特定字段。这在处理结构化的数据文件（如CSV文件）时特别有用。
-
替换和转换： 您可以使用正则表达式在文本中查找并替换特定的模式。这允许您进行数据转换和清理。
以下是一个简单的Awk示例，展示如何使用正则表达式来处理文本数据：
假设有一个名为data.txt的文本文件，内容如下：
您可以使用以下Awk命令来提取年龄大于等于 28 的人员姓名：
在这个命令中，-F:指定了字段分隔符为冒号，$2 >= 28 是一个条件，表示第二个字段（年龄）大于等于28，{ print $1 } 是一个动作，表示打印第一个字段（姓名）。这个例子展示了如何使用Awk和正则表达式来处理文本数据中的特定模式。
