SHELL编程中的文本处理:grep,sed和awk的用法

一.Grep的用法

grep Global search regular expression and print out the line
(全面搜索研究正则表达式并显示出来)

grep 命令是一种强大的文本搜索工具 , 根据用户指定的“模式”对目标文本进行匹配检查 ,
打印匹配到的行由正则表达式或者字符及基本文本字符所编写的过滤条件

1.过滤指定字符
(1)grep 中字符的匹配次数设定

` * 字符出现 [0- 任意次 ]
? 字符出现 [0-1 次 ]
+ 字符出现 [1- 任意次 ]
{n} 字符出现 [n 次 ]
{m,n} 字符出现 [ 最少出现 m 次,最多出现 n 次 ]
{0,n} 字符出现 [0-n 次 ]
{m,} 字符出现 [ 至少 m 次 ]
(xy){n} xy关键字出现 [n 次 ]
这里写图片描述
.* 关键字之间匹配任意字符
‘a….b’ a和b之间有四个任意字符
‘a…’ a后边有三个任意字符
‘…b’ b前边有三个任意字符
这里写图片描述
(2)grep中字符位置的设定

^关键字 以关键字开头的行
这里写图片描述
关键字$ 以关键字结尾的行
\< 关键字 关键字前边不能出现别的字符
关键字 > 关键字之后不能有别的字符
这里写图片描述

二.sed

sed stream editor(行编辑器)用来操作纯 ASCII 码的文本处理时 , 把当 前处理的行存储在临时缓冲区中 , 称为“模式空间” (pattern space) 可以指定仅仅处理哪些行。sed 符合模式条件的处理不符合条件的不予处理,处理完成之后把缓冲区的内容送往屏幕接着处理下一行 , 这样不断重复 , 直到文件末尾。

1.sed对字符的处理

p  显示
d  删除
a  添加
c  替换
w  写入
i  插入

2.p操作模式

显示fstab以#开头的行

sed -n '/^#/p' fstab

这里写图片描述
显示不以#开头的行(注意!的位置)

sed -n '/^#/!p' fstab

显示fstab的2-6行

cat -n fstab | sed -n '2,6p'

显示fstab的第2行和第6行

cat -n fstab | sed -n -e '2p;6p'
        cat -n fstab | sed -n -e '2p' -e '6p'

这里写图片描述

3.d操作模式

不显示空行

sed -e '/^$/d' fstab

不显示空行和以#开头的行

sed -e '/^$/d;/^#/d' fstab

这里写图片描述

4.a操作模式

在jay文件中hello后加上world

sed '/hello/aworld' jay

在jay文件hello后加上hello world并换行

sed '/hello/aworld\njay' jay

这里写图片描述

5.i操作模式

将指定内容插入在hello前边

sed '/hello/ihelloworld' jay

这里写图片描述

6.c操作模式

将jay中的hello替换成指定字符

sed '/hello/chelloworld' jay

这里写图片描述

7.w操作模式

把passwd中以bash结尾的写入文件file

sed -n '/bash$/wfile' passwd
sed -n '/bash$/p' passwd >file
这两种的区别在:第一个是一条命令,而第二个是两条命令
              第一个处理一行写进一行,第二个是全部处理完才写进file

这里写图片描述

8.sed的其他用法

显示jay中的行号,与行内容分开

sed '/hello/=' jay

将jay中的内容加入到fstab中第六行之后

sed '6r jay' fstab

这里写图片描述

仅仅显示某一行的行号

sed -n '/^UUID/=' fstab

这里写图片描述

显示每一行的行号并换行

sed '=' fstab | sed 'N'

这里写图片描述

显示每一行的行号不换行

sed '=' fstab | sed 'N;s/\n//g'  N 是将换行符显示出来

这里写图片描述

给每一行后边加上空行

sed 'G' fstab

9.替换

全文替换nologin为jay

sed 's/nologin/jay/g' passwd

这里写图片描述

只替换每一行第一个nologin为jay

sed 's/nologin/jay/' passwd

这里写图片描述

替换3-5行nologin为jay

sed '3,5s/nologin/jay/g' passwd

这里写图片描述

替换两个关键字adm和sync之间的nologin为jay

sed '/adm/,/sync/s/nologin/jay/g' passwd

这里写图片描述

在文件中写替换策略,调用文件替换

sed -f file passwd

这里写图片描述

调用文件替换并改变原文件的内容

sed -f file -i passwd

这里写图片描述

3.awk

awk 报告生成器
awk的处理机制:逐行处理文本 , 支持在处理第一行之前做一些准备工作 , 以及在处理完最后一行做一些总结性质的工作 , 在命令格式上分别体现如下 :
    BEGIN{}: 读入第一行文本之前执行 , 一般用来初始化操作
    {}: 逐行处理 , 逐行读入文本执行相应的处理 , 是最常见的编辑指令快
    END{}: 处理完最后一行文本之后执行 , 一般用来输出处理结果

显示passwd第一列

awk -F ":" '{print $1}' passwd

这里写图片描述

在第一列列首加name,列尾加end

awk -F ":" 'BEGIN{print "name"}{print $1}END{print "end"}' passwd

这里写图片描述

显示行号

awk -F ":" 'BEGIN{print "name"}{print NR$1}END{print "end"}' passwd

这里写图片描述

统计系统中能登陆系统的用户个数

awk -F ":"  'BEGIN{N=0}/bash$/{N++}END{print N}' /etc/passwd

这里写图片描述

找出passwd中以ro开头的行

awk '/^ro/{print}' passwd

这里写图片描述

找出passwd中以a-d开头的行

awk '/^[a-d]/{print}' passwd

这里写图片描述

找出passwd中不以a-d开头的行

awk '/^[^a-d]/{print}' passwd

找出passwd中以r开头和以bash结尾的行

awk '/^r/&&/bash$/{print}' passwd

找出passwd中以r开头或以bash结尾的行

awk '/^r/||/bash$/{print}' passwd

这里写图片描述
找出passwd中第五列以a开头的行

awk -F ":" '$5~/^a/{print}' passwd

找出passwd中第一列不以r开头的行

awk -F ":" '$1!~/^r/{print}' passwd

抓取 eth0 网卡的 ip

ifconfig eth0 | awk '/inet\>/{print $2}'

这里写图片描述

猜你喜欢

转载自blog.csdn.net/jay_youth/article/details/80730686