正则表达式与文本编辑之sed、awk

正则表达式与shell文本编辑之sed、awk

一.正则表达式

正则表达式通常用于判断语句中用来检查某一字符串是否满足某一格式

正则表达式是由普通字符与元字符组成

• 普通字符包括大小写字母、数字、标点符号及一些其他符号
• 元字符是指在正则表达式中具有特殊意义的专用字符，可以用来规定其前导字符（即位于元字符前面的字符或表达式）在目标对象中的出现模式

1.基础正则表达式常见的元字符（支持的工具：grep、egrep、sed、awk）

	说明
\	转义字符，用于取消特殊符号的含义，例: \!、\n、\$等
^	匹配字符串开始的位置，例:^a、^the、^#、^[a-z]
$	匹配字符串结束的位置，例: word$、^$匹配空行
.	匹配除\n之外的任意的一个字符，例: go.d、g..d，如果想要匹配包含\n字符可以使用 [.\n]
*	匹配前面子表达式0次或者多次，例: goo*d、go.*d
[list]	匹配list列表中的一个字符，例:go[ola]d、[abc]、[a-z]、[a-z0-9]、[0-9]匹配任意一位数字
[^list]	匹配任意非list列表中的一个字符，例:[^0-9]、[^A-Z0-9]、[^a-z]匹配任意一位非小写字母
\{n\}	匹配前面的子表达式n次，例:go\{2\}d、'[0-9]\{2\}'匹配两位数字
\{n,\}	匹配前面的子表达式不少于n次，例:gol{2,l}d、'[0-9]\{2,\}匹配两位及两位以上数字
\{n,m\}	匹配前面的子表达式n到m次，例 :go\{2,3\}d、'[0-9]\{2,3\}'匹配两位到三位数字

注：egrep、awk使用{n}、{n,}、{n,m}匹配时"{}“前不需要加”\"

	说明
\w	匹配包括下划线的任何单词字符
\W	匹配任何非单词字符。等价于"[^A-Za-z0-9_]"
\d	匹配一个数字字符
\D	匹配一个非数字字符。等价于[^0-9]
\s	空白符
\S	非空白符

注：使用此些转义字符时需使用：grep -P才能支持

2.扩展正则表达式元字符（支持的工具：egrep、grep -E、awk、sed -r）

	说明
+	匹配前面子表达式1次以上，例: go+d，将匹配至少一个o，如god、good、goood等
？	匹配前面子表达式0次或者1次，例: go?d，将匹配gd或god
()	将括号中的字符串作为一个整体，例: g(oo)+d，将匹配oo整体1次以上，如good、gooood等
|	以或的方式匹配字符串，例:g(oo|la)d，将匹配good或者glad

3.简单应用示例

(1)区号025开头，号码与区号间可以是空格、-、没有，号码必须是5或者8开头的八位数

(2)

• 用户名@：长度要求在6-18位，任意大小写英文，任意数字，除了@符号和空格以外的其它任意符号字符，开头只能是_或者字母

• 子域名.[二级域名]：长度任意，符号只能包含-_.

• .顶级域名:长度在2-5，任意大小写英文

二.sed

1.sed是一种流编辑器，流编辑器会在编辑器处理数据之前基于预先提供的一组规则来编辑数据流

2.sed编辑器可以根据命令来处理数据流中的数据，这些命令要么从命令行中输入要么存储在一个命令文本文件中

3.sed工作流程主要包括读取、执行和显示三个过程：

• 读取：sed从输入流（文件、管道、标准输入）中读取一行内容并存储到临时的缓冲区中（又称模式空间）
• 执行：默认情况下，所有的sed命令都在模式空间中顺序的执行，除非指定了行的地址，否则sed命令将会在所有的行上依次执行
• 显示：发送修改后的内容到输出流，在发送数据后模式空间将会被清空，在所有的文件内容都被处理完成之前，上述过程将重复执行，直至所有内容被处理完

注：默认情况下所有的sed命令都是在模式空间内执行的，因此输入的文件并不会发生任何变化，除非是用重定向存储输出

常用选项	说明
-e或–expression=	表示用指定命令来处理输入的文本文件，只有一个操作命令时可省略，一般在执行多个操作命令时使用
-f或–file=	表示用指定的脚本文件来处理输入的文本文件
-h或–help	显示帮助
-n、–quiet或silent	禁止sed编辑器输出，但可以与p命令一起使用完成输出
-i	直接修改目标文本文件

常用操作符	说明
s	替换，替换指定字符
d	删除，删除选定的行
a	增加，在当前行下面增加一行指定内容
i	插入，在选定行上面插入一行指定内容
c	替换，将选定行替换为指定内容
y	字符转换，转换前后的字符长度必须相同
p	打印，如果同时指定行，表示打印指定行，如果不指定行，则表示打印所有内容：如果有非打印字符，则以ASCII码输出，其通常与"-n"选项一起使用
=	打印行号
l（小写L）	打印数据流中的文本和不可打印的ASCII字符（比如结束符$、制表符\t）

命令格式：
sed -e '操作' 文件1 文件2 ……
sed -n -e '操作' 文件1 文件2 ……
sed -f 脚本文件 文件1 文件2 ……
sed -i -e '操作' 文件1 文件2 ……
sed -e 'n{   ###此处n表示行号
操作1
操作2
……
}' 文件1 文件2 ……

示例

查询：
sed -n '行号 p'   ###打印指定行号的行
sed -n '行号1，行号2 p'   ###打印行1与行2区间的行
sed -n '行号，+n p'   ###打印行1与其之后的连续n行
sed -n '/字符串/ p'   ###打印包含字符串的行
sed -n '/正则表达式/ p'   ###打印所有包含正则能够匹配的内容的行

删除：
sed '行号 d'   ###删除指定行号的行
sed '行号1，行号2 d'   ###删除行1与行2区间的行
sed '/字符串/ d'   ###删除包含字符串的行
sed '/正则表达式/ d'   ###删除所有包含正则能够匹配的到内容的行
sed '行号，/字符串/ d'   ###删除从指定行到第一个包含指定字符串的行
sed '/字符串1/,/字符串2/ d'   ###从第一个包含字符串1的行开始删除到从第一个包含字符串2的行，之后的行内容依旧重复上述操作直至所有内容匹配完成

为展示命令效果修改了内容

替换：行范围 s/旧字符串/新字符串/替换标记
替换标记：数字：表明新字符串将替换第几处匹配的地方
        g：表明新字符串将会替换所有匹配的地方
        p：打印与替换命令匹配的行，与-n一起使用
        w 文件名：将替换的结果写入文件中
sed 's/旧字符串/新字符串/'   ###替换匹配行的第1个字符串
sed 's/旧字符串/新字符串/n'   ###替换匹配行的第n个字符串
sed 's/旧字符串/新字符串/g'   ###替换匹配行所有对应的字符串
sed 's/旧字符串/新字符串/gw 文件名'   ###把替换后的行内容保存到指定文件，因为替换过的内容会覆盖原文件所以通常指定至空文件（文件为可创建）
sed -n 's/旧字符串/新字符串/gp' > 文件名
sed '行号 s/旧字符串/新字符串/g'   ###替换指定行的对应的字符串
sed '行号1，行号2 s/旧字符串/新字符串/g'   ###替换行1与行2区间的匹配行的对应的字符串
sed '/字符串/ s/旧字符串/新字符串/g'
sed '/正则表达式/ s/旧字符串/新字符串/g'
sed '行号c xxxx'   ###替换指定行的整行内容
sed 'y/abc/123/'   ###替换所有对应的字符
注：s/xxx/xxx/后面的替换分隔符可以使用其他字符代替，但需要确保替换与被替换的字符数保持一致

插入：
sed '行号a xxxx'   ###在指定行下面插入内容
sed '/字符串/a xxxx'
sed '行号i xxxx'   ###在指定行上面插入内容
sed '/字符串/i xxxx'
sed '行号r 文件名'   ###在指定行下面读取文件内容