Shell sed命令的奇妙用法:解决一些常见的文本处理问题

shell sed命令

sed是一种在线编辑器,它一次处理一行内容。

http://www.gnu.org/software/sed/manual/sed.html

处理时,把当前处理的行存储在临时缓冲区中,称为“模式空间”(pattern space),

接着用sed命令处理缓冲区中的内容,处理完成后,把缓冲区的内容送往屏幕。

接着处理下一行,这样不断重复,直到文件末尾

文件内容并没有 改变,除非你使用重定向存储输出。

Sed主要用来自动编辑一个或多个文件;简化对文件的反复操作.

  • 调用方式
sed [options] 'command' file(s)

sed [options] -f scriptfile file(s) 
  • 正则表达式通配符

^ 表示一行的开头。如:/^#/ 以#开头的匹配。

$ 表示一行的结尾。如:/}$/ 以}结尾的匹配。

\< 表示词首。 如:\<abc 表示以 abc 为首的詞""。

\> 表示词尾。 如:abc\> 表示以 abc 結尾的詞。

. 表示任何单个字符。

* 表示某个字符出现了0次或多次。

[ ] 字符集合。 如:[abc] 表示匹配a或b或c,还有 [a-zA-Z] 表示匹配所有的26个字符。如果其中有^表示反,如 [^a] 表示非a的字符

#  ^符号表示开头
#  .*符号表示通配任意字符
## 行内包含“SVNAME”参数,则将整行替换
sed -i 's/^.*'$SVNAME'.*$/'$NEWNAME'/' $FILEPATH


  • 常用选项

|a\|在当前行后添加一行或多行|
| ----- | ----- |
|c\|用新文本替换当前行中的文本|
|d|删除行|
|i\|在当前行之前插入文本|
|h|把模式空间的内容复制到暂存缓冲区|
|H|把模式空间的内容添加到缓冲区|
|g|取出暂存缓冲区的内容,将其复制到模式缓冲区|
|G|取出暂存缓冲区的内容,将其追加到模式缓冲区|
|l|列出非打印字符|
|p|打印行|
|n|读入下一行输入,并从下一条而不是第一条命令对其处理|
|q|结束或退出sed|
|r|从文件中读取输入行|
|!|对所选行以外的行应用所有命令|
|s|用一个字符串替换另外一个字符串|

  • 替换标志:
g 在行内进行全局替换
p 打印行
w 将行写入文件
x 交换暂存缓冲区和模式空间的内容
y 将字符转换成另外一个字符
  • 打印:p命令
sed ‘/abc/p’ file 打印file中包含abc的行。默认情况sed把所有行都打印到屏幕,如果某行匹配到模式,则把该行另外再打印一遍
sed  -n ‘/abc/p’ file 和上面一样,只是去掉了sed的默认行为,只会打印匹配的行
  • 删除:d命令
sed ‘3,$d’ file 删除从第3行到最后一行的内容。
sed ‘$d’ file 删除最后一行的内容
sed ‘/abc/d’ 删除包含abc的行。
sed ‘3d’ file 删除第三行的内容
  • 替换:s命令
sed  ‘s/abc/def/g’ file 把行内的所有abc替换成def,如果没有g,则只替换行内的第一个abc
sed  -n ‘s/abc/def/p’ file 只打印发生替换的那些行
sed  ‘s/abc/&def/’ file 在所有的abc后面添加def(&表示匹配的内容)
sed  -n ‘s/abc/def/gp’ file 把所有的abc替换成def,并打印发生替换的那些行
sed  ‘s#abc#def#g’ file 把所有的abc替换成def,跟在替换s后面的字符就是查找串和替换串之间的分割字符,
本例中用#分割
  • 指定行的范围:逗号
sed  -n ‘/abc/,/def/p’ file 打印模式abc到def的行
sed  -n ‘5/,/def/p’ file 打印从第五行到包含def行之间的行。
sed /abd/,/def/s/aaa/bbb/g 修改从模式abc到模式def之间的行,把aaa替换成def
  • 多重编辑-e
sed  -e ‘1,3d’ -e ‘s/abc/def/g’ file 删除1-3行,然后把其余行的abc替换成def
  • 读文件:r命令
sed  ‘/abc/r newfile’ file 在包含abc的行后读入newfile的内容
  • 写文件:w命令
sed  ‘/abc/w newfile’ file 在包含abc的行写入newfile
  • 追加:a命令
sed  ‘/abc/a\def’ file 在包含abc的行后新起一行,写入def
  • 插入:i命令
sed  ‘/abc/i\def’ file 在包含abc的行前新起一行,写入def
  • 修改:c命令
sed  ‘/abc/c\def’ file 在包含abc的行替换成def,旧文本被覆盖
  • 读取下一行:n命令
sed  ‘/abc/{n ; s/aaa/bbb/g;}’ file 读取包含abc的行的下一行,替换aaa为bbb
  • 转换:y命令
sed  ‘y/abc/ABC’ file 将a替换成A,b替换成B,c替换成C(正则表达式元字符不起作用)
  • 退出:q命令
sed  ‘/abc/{ s/aaa/bbb/ ;q; }’ file 在某行包含了abc,把aaa替换成bbb,然后退出sed。

暂存和取用:h命令(把模式行存储到暂存缓冲区)和g(取出暂存缓冲区的行并覆盖模式缓冲区)G(取出临时缓冲区的行)命令

h和g是复制行为(覆盖),H和G表示追加。

sed  -e ‘/abc/h’  -e ‘$G’ file 包含abc的行通过h命令保存到暂存缓冲区,
在第二条命令汇中,sed读到最后一行$时,G命令从暂存缓冲区中读取一行,
追加到模式缓冲区的后面。即所有包含abc的行的最后一行被复制到文件末尾。
s****ed -e ‘/abc/{h; d;}’     -e  ‘/def/{g; }’ file 包含abc的行会移到包含def的行上,并进行覆盖。
#!/bin/bash
#删除:d命令 
sed '2d' example#-----删除example文件的第二行。

sed '2,$d' example#-----删除example文件的第二行到末尾所有行。

sed '$d' example#-----删除example文件的最后一行。

sed '/test/'d example#-----删除example文件所有包含test的行。

#替换:s命令 
sed 's/test/mytest/g' example
#在整行范围内把test替换为mytest。如果没有g标记,则只有每行第一个匹配的test被替换成mytest。

sed -n 's/^test/mytest/p' example
#(-n)选项和p标志一起使用表示只打印那些发生替换的行。也就是说,如果某一行开头的test被替换成mytest,就打印它。

sed 's/^192.168.0.1/&localhost/' example
#&符号表示替换换字符串中被找到的部份。所有以192.168.0.1开头的行都会被替换成它自已加 localhost,变成192.168.0.1localhost。

sed -n 's//(love/)able//1rs/p' example
#love被标记为1,所有loveable会被替换成lovers,而且替换的行会被打印出来。

sed 's#10#100#g' example
#不论什么字符,紧跟着s命令的都被认为是新的分隔符,所以,“#”在这里是分隔符,代替了默认的“/”分隔符。表示把所有10替换成100。

#选定行的范围:逗号 
sed -n '/test/,/check/p' example
#所有在模板test和check所确定的范围内的行都被打印。

sed -n '5,/^test/p' example
#打印从第五行开始到第一个包含以test开始的行之间的所有行。

sed '/test/,/check/s/$/sed test/' example
#对于模板test和west之间的行,每行的末尾用字符串sed test替换。


#多点编辑:e命令 
$ sed -e '1,5d' -e 's/test/check/' example
#(-e)选项允许在同一行里执行多条命令。如例子所示,第一条命令删除1至5行,第二条命令用check替换test。命令的执 行顺序对结果有影响。如果两个命令都是替换命令,那么第一个替换命令将影响第二个替换命令的结果。

$ sed --expression='s/test/check/' --expression='/love/d' example
#一个比-e更好的命令是--expression。它能给sed表达式赋值。

#从文件读入:r命令 
sed '/test/r file' example
#file里的内容被读进来,显示在与test匹配的行后面,如果匹配多行,则file的内容将显示在所有匹配行的下面。

#写入文件:w命令 
sed -n '/test/w file' example
#在example中所有包含test的行都被写入file里。

#追加命令:a命令 
sed '/^test/a//--->this is a example' example<-----'this is a example'
#被追加到以test开头的行后面,sed要求命令a后面有一个反斜杠。

#插入:i命令 
sed '/test/i//
new line
-------------------------' example
#如果test被匹配,则把反斜杠后面的文本插入到匹配行的前面

#下一个:n命令 
sed '/test/{ n; s/aa/bb/; }' example
#如果test被匹配,则移动到匹配行的下一行,替换这一行的aa,变为bb,并打印该行,然后继续。

#变形:y命令 
sed '1,10y/abcde/ABCDE/' example
#把1--10行内所有abcde转变为大写,注意,正则表达式元字符不能使用这个命令。

#退出:q命令 
sed '10q' example
#打印完第10行后,退出sed。

#保持和互换:h命令和x命令 
sed -e '/test/h' -e '/check/x' example 
#互换模式空间和保持缓冲区的内容。也就是把包含test与check的行互换。



sed /^$/d filename

#可以删除文件中的空行。

sed /^[[:space:]]*$/d filename

#可以删除内容为多个空格/tab组成的行

猜你喜欢

转载自blog.csdn.net/qq_21438461/article/details/129890917