-
打印某行到某行之间的内容
例如：有个文件test的内容如下：
ert
fff
**
[abcfd]
123
324
444
[rty]
**
fgfgf怎么能截取
[abcfd]
123
324
444
[rty]这一部分出来呢？（其实就是截取第4行到第8行的内容）
sed -n '/\[abcfd\]/,/\[rty\]/p' test.txt
http://ask.apelearn.com/question/559
-
sed转换大小写
sed中，使用 \u 表示大写， \l 表示小写
[root@xzl-linux ~]# cat test.txt
eCrt
fBff
fAgfg
tEest
fade
[root@xzl-linux ~]# sed 's/\b[a-z]/\u&/g' test.txt //把每个单词的第一个小写字母变大写
ECrt
FBff
FAgfg
TEest
Fade
[root@xzl-linux ~]# sed 's/[a-z]/\u&/g' test.txt //把所有的小写变大写
ECRT
FBFF
FAGFG
TEEST
FADE
[root@xzl-linux ~]# sed 's/[A-Z]/\l&/g' test.txt //把所有的大写变小写
ecrt
fbff
fagfg
teest
fade
[root@xzl-linux ~]#
http://ask.apelearn.com/question/7758
-
sed在某一行最后添加一个数字
sed 's/\(^a.*\)/\1 12/' test
#cat test
askdj
aslkd aslkdjf3e
skdjfsdfj
sdkfjk
fsdkfjksdjfkjsdf
12sdfesdf
aslkdjfkasdjf asdlfkjaskdfj
#sed 's/\(^a.*\)/\1 12/' test //在以a开头的行末尾添加一个数字12
askdj 12
aslkd aslkdjf3e 12
skdjfsdfj
sdkfjk
fsdkfjksdjfkjsdf
12sdfesdf
aslkdjfkasdjf asdlfkjaskdfj 12http://ask.apelearn.com/question/288
-
删除某行到最后一行
[root@xzl-linux ~]# cat test.txt
a
b
c
d
e
f
[root@xzl-linux ~]# sed '/c/{p;:a;N;$!ba;d}' test.txt
a
b
c
[root@xzl-linux ~]#
定义一个标签a，匹配c，然后N把下一行加到模式空间里，匹配最后一行时，才退出标签循环，然后命令d，把这个模式空间里的内容全部清除。
if 匹配"c"
:a
追加下一行
if 不匹配"$"
goto a
最后退出循环，d命令删除。
http://ask.apelearn.com/question/213
-
打印1到100行含某个字符串的行
这个需求，其实就是sed指定行范围匹配，较少见。实现：
sed -n '1,100{/abc/p}' 1.txt //打印1.txt前100行里面包含abc字符的行http://ask.apelearn.com/question/1048
-
awk 中使用外部shell变量
如：
A=44echo "ABCD" | awk -v GET_A=$A ’{print GET_A}’
说明：-v选项用于定义参数，这里表示将变量A的值赋予GET_A。
有多少个变量需要赋值，就需要多少个-v选项。与之等价的：应用于脚本中：
#! /bin/bash
sort -n filename |awk -F ':' '{print $1}'|uniq >id.txt
for id in `cat id.txt`; do
echo "[$id]"
awk -v id2=$id -F ':' '$1==id2 {print $2}' filename // 另外的方式为: awk -F ':' '$1=="'id'" {print $2}' filename
done
附件：
cat filename
1111111:13443253456
2222222:13211222122
1111111:13643543544
3333333:12341243123
2222222:12123123123
运行脚本后结果为：
[1111111]
13443253456
13643543544
[2222222]
13211222122
12123123123
[3333333]
12341243123
http://ask.apelearn.com/question/199
-
awk 合并一个文件
我有这样的需求，需要把两个文件中，第一列相同的行合并到同一行中。举个例子，有两个文件，内容如下
cat 1.txt
1 aa
2 bb
3 ee
4 ss
cat 2.txt
1 ab
2 cd
3 ad
4 bd
5 de
合并后的结果为：
1 ab aa
2 cd bb
3 ad ee
4 bd ss
5 de
实现的命令为：
awk 'NR==FNR{a[$1]=$2}NR>FNR{print $0,a[$1]}' 1.txt 2.txt解释：NR表示读取的行数， FNR表示读取的当前行数，大家可以运行这个命令 awk '{print NR,FNR}' 1.txt 2.txt，比较NR和FNR
所以其实NR==FNR 就表示读取1.txt的时候。 同理NR>FNR表示读取2.txt的时候
数组a其实就相当于一个map
http://ask.apelearn.com/question/493
-
把一个文件多行连接成一行
a=`cat file`;echo $a
awk '{printf("%s ",$0)}' file // %s 后记得要有一空格，否则出来就是完全连在一起的，中间连空格都没有
cat file |xargs应用举例：一个文件每行都有一个数字，现在需要把每行的数字用“+”连接起来。
cat a
96
1093
1855
1253
1364
1332
2308
2589
2531
1239
2164
2826
2787
2145
2617
4311
1810
2115
1235awk '{printf ("%s+",$0)}' a; echo "" 96+1093+1855+1253+1364+1332+2308+2589+2531+1239+2164+2826+2787+2145+2617+4311+1810+2115+1235+ 这里注意，最后一个是带“+”的。echo "" 的作用是换行。 另外的方法是 cat a|xargs|sed 's/ /+/g' 96+1093+1855+1253+1364+1332+2308+2589+2531+1239+2164+2826+2787+2145+2617+4311+1810+2115+1235
http://ask.apelearn.com/question/266
-
awk中gsub函数的使用
awk 'gsub(/www/,"abc")' /etc/passwd // passwd文件中把所有www替换为abc
awk -F ':' 'gsub(/www/,"abc",$1) {print $0}' /etc/passwd // 替换$1中的www为abchttp://ask.apelearn.com/question/200
-
awk 截取指定多个域为一行
用awk指定分隔符把文本分为若干段。如何把相同段的内容弄到一行？
以/etc/passwd为例，该文件以":"作为分隔符，分为了7段。
for i in `seq 1 7`
do
awk -F ':' -v a=$i '{printf $a " "}' /etc/passwd
echo
donehttp://ask.apelearn.com/question/224
-
过滤两个或多个关键词
grep -E '123|abc' filename // 找出文件（filename）中包含123或者包含abc的行
egrep '123|abc' filename //用egrep同样可以实现
awk '/123|abc/' filename // awk 的实现方式http://ask.apelearn.com/question/198
-
用awk生成以下结构文件
用awk编写生成以下结构文件的程序。( 最后列使用现在的时间，时间格式为YYYYMMDDHHMISS) 各列的值应如下所示，每增加一行便加1，共500万行。
1,1,0000000001,0000000001,0000000001,0000000001,0000000001,0000000001,2005100110101
2,2,0000000002,0000000002,0000000002,0000000002,0000000002,0000000002,2005100110101
用shell解决：
#! /bin/bash
for i in `seq 1 5000000`; do
n=`echo "$i"|awk '{print length($0)}'`
export m=$[10-$n]
export o=`perl -e '$a='0'; $b=$a x $ENV{"m"}; print $b;'`
export j=$i
p=`perl -e '$c=$ENV{"o"}.$ENV{"j"}; print $c;'`
echo "$i,$i,$p,$p,$p,$p,$p,$p,`date +%Y%m%d%H%M%S`"
done 其中用到了perl，所以脚本整体看起来比较啰嗦，希望能找到更好的解决办法。
PS: shell 执行效率很低，so 该脚本运行时间会很漫长！
用awk解决：
awk 'BEGIN{for(i=1;i<=10;i++)printf("%d,%d,%010d,%010d,%010d,%010d,%010d,%010d,%d\n",i,i,i,i,i,i,i,i,strftime("%Y%m%d%H%M%S"))}'http://ask.apelearn.com/question/5494
-
awk用print打印单引号
比较绕，不用死记硬背，以后用的时候，稍微多试几次就出来了。
awk 'BEGIN{print "a'"'"'s"}' //不用脱义，就多写几个单引号、双引号
awk 'BEGIN{print "a'\''s"}' //用脱义，脱义的是单引号
awk 'BEGIN{print "a\"s"}' //用脱义，脱义的是双引号http://ask.apelearn.com/question/1738
-
把两个文件中相同的行合并成一行
paste filename1 filename2
这样就可以实现了。举个例子。
cat a.txt
1 2 3
4 5 6
a b c
cat b.txt
3 2 1
6 5 4
c b a
则 paste a.txt b.txt 结果为
1 2 3 3 2 1
4 5 6 6 5 4
a b c c b a如果，你想在两个文件连接处用一个指定的字符连接，还可以用-d来指定
paste -d '+' a.txt b.txt
结果为:
1 2 3+3 2 1
4 5 6+6 5 4
a b c+c b a
http://ask.apelearn.com/question/945
awk的BEGIN和END : http://blog.51cto.com/151wqooo/1309851
awk的参考教程 : http://www.cnblogs.com/emanlee/p/3327576.html
课堂笔记：
sed -i s#old_word#new_word#g //sed的替换功能
awk
awk语法结构：
awk -F ':' 'BEGIN{语句} {if(条件){语句1;语句2;语句3} } END{语句}' filename
$0表示所有,也可以将-F ‘:’去掉
awk -F ':' '{print $0}' passwd ==awk '{print $0}' passwd ==cat passwd
OFS
指定打印后的分隔符
# awk -F ':' '{OFS="#"} $3>1000|| $7=="/bin/bash" {print $1,$3,$7}' passwd
使用if嵌套规范写法：
awk -F ':' '{OFS="#"} {if($3>1000|| $7=="/bin/bash") {print $1,$3,$7}}' passwd
NR 表示行
awk -F ':' '{print NR":"$0}' passwd == grep -n ':' passwd
打印前10行
# awk -F ':' 'NR<=10' passwd
NF 表示段
打印段数为6并且第一段包含root或者sync的
#awk -F ':' 'NF==6 && $1 ~ /root|sync/' passwd
=赋值，将前三行第一段赋值为root
# head -n 3 passwd |awk -F ':' '$1="root"'
OFS定义分割符为#
head -n 3 passwd |awk -F ':' '{OFS="#"} $1="root"'
求第三段所有值的和：
awk -F ':' '{tot=tot+$3}; END {print tot}' passwd
awk -F ':' '/root/ {print $1,$3} /lp/ {print $1,$3}' passwd //与sed -e类似。