高级命令
1.grep(过滤)
grep [参数] '匹配关键字' filename
-c :(count 符合关键字的总条数)
-i :(ignore 过滤时忽略大小写)
2.sed
sed是一种在线编辑器 , 一次处理一行内容 , 处理时处理的行放在
临时缓冲区 只是视图上显示了改变后的内容 ,文件内容本身内容并
没有被改变,除非使用定向存储输出,主要用于自动编辑一个或多个
文件,简化操作
1.命令格式
sed [参数] [动作]
2.使用参数
-n 只显示经郭sed处理的数据 不加会显示所有数据
-e 直接在命令行模式下进行sed动作的编辑
-f 直接将sed的动作写在一个文件内,-f file 则可运行file内
的
sed动作
-i 直接修改读取的文件内容 而不是输出到终端
3.动作
[n1[]n2] function
n1 n2 一般代表选择操作行数的范围(包含n1 n2) 如 我要
操作的 行数是10-20行 [10,20[动作]]
function:
a:新增,a 的后边可加字符串 这些字符串会出现在
当前行之后新增的行中
c:取代 c之后可接字符串 这些字符串取代n1 n2 之间
的行
d:删除, d后通常不接任何字符串
i:插入 ,i后可接字符串 这些字符会在新的一行出现在目前
行的上一行
p:将某个选择的数据印出(在显示器上打印)
通常p会与参数 sed -p 一起使用
s:取代 课直接进行取代 通常这个s的动作可搭配正则
例:1,20/old/new/g
4.使用示例
******以"行"为单位的新增/删除 ******
1.将/etc/passwd的内容列出并且打印出行号,同时,请将第2-5行删除
命令:nl /etc/passwd | sed '2,5d'
说明:d 是删除动作
2.只删除第二行
命令 nl /etc/passwd | sed '2d'
3 删除第3行到最后行
命令 nl /etc/passwd | sed '3,$d'
4 在第2行后面加上"hello man!"字样
命令 nl /etc/passwd | sed '2a hello man!'
5在第2行后面加上多行字符串"hello man!"和"yeah!,ok!"字样
命令 nl /etc/passwd | sed '2a hello man!\yeah!,ok!'
说明:每一行之间都必须要以反斜杠[\]来进行新行的添加！
********以"行"为单位的替换与显示*******
1.将2-5行的内容取代成"2-5行内容汇总"
42命令 nl /etc/passwd | sed '2,5c 2-5行内容汇总'
2. 仅列出/etc/passwd文件内的第5-7行
命令 nl /etc/passwd | sed -n '5,7p'
********数据的查找并删除********
1. 删除 /etc/passwd所有包含root的行,只输出其他行
命令 nl /etc/passwd | sed '/root/d'
********数据的查找并执行命令********
1. 匹配上"root"字符串后,搜索/etc/passwd,找到root对应的行,执行后面花括号的一组命令
命令 nl /etc/passwd | sed -n '/root/{s/bash/blueshell/;p}'
说明:每个命令之间用分号分隔。
********数据的查找并替换********
1.把/etc/passwd中的"root"替换成"rootUser"
命令 nl /etc/passwd | sed 's/root/rootUser/g'
********多点编辑********
1.sed承接多个编辑命令,如:删除/etc/passwd第三行到末尾的数据,并把bash替换成blueshell
命令 nl /etc/passwd | sed -e '3,$d' -e 's/bash/blueshell/'
********直接修改文件内容*******
1.在test.txt最后一行加入[This is a test] 命令 sed -i '$a This is a test' test.txt
3.awk命令
awk是一个强大的文本分析工具，相对于grep的查找，sed的编辑，awk在其对数据分析并生成报告时，显得尤为强大。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理
1. 命令格式
awk '{pattern + action}' {filenames}
2. 功能描述
pattern就是要表示的正则表达式,用斜杠括起来。而action是在找到匹配内容时所执行的一系列命令。 awk最基本功能是在文件或者字符串中基于指定规则浏览和抽取信息,awk抽取信息后才能进行其他文本操作。完整的awk脚本通常用来格式化文本文件中的信息。 通常,awk是以文件的一行为处理单位的。awk每接收文件的一行,然后执行相应的命令,来处理文本。
3. awk 内置变量
awk有许多内置变量用来设置环境信息,这些变量可以被改变,下面给出了最常用的一些变量。
ARGC :命令行参数个数
ARGV :命令行参数排列
ENVIRON :支持队列中系统环境变量的使用
FILENAME:awk浏览的文件名
FNR :浏览文件的记录数
FS :设置输入域分隔符,等价于命令行 -F选项
NF :浏览记录的域的个数
NR :已读的记录数
OFS :输出域分隔符
ORS :输出记录分隔符
RS :控制记录分隔符
$0 :整条记录
$1 :表示当前行的第一个域
4. 使用示例
示例数据:
命令 last -n 5 #仅取出前五行
结果
root pts/1 192.168.1.100 Tue Feb 10 11:21 still logged in
root pts/1 192.168.1.100 Tue Feb 10 00:46 - 02:28 01:41.
root pts/1 192.168.1.100 Mon Feb 9 11:41 - 18:30 06:48.
tledu pts/1 192.168.1.100 Mon Feb 9 11:41 - 11:41 00:00.
root tty1 Fri Sep 5 14:09 - 14:10 00:01.
<1> 如果只是显示最近登录的5个账号
命令 last -n 5 | awk '{print $1}'
说明:读入有换行符分割的一条记录,然后将记录按指定的域分割符划分域,填充域。$0则表示所有域,$1表示第一个域,$n表示第n个域。默认域分隔符是"空白键"或"[tab]键",所以$1表示登录用户,$3表示登录用户ip,以此类推。
<2> 只显示/etc/passwd的账户
命令 cat /etc/passwd | awk -F ':' '{print $1}'
<3> 只显示/etc/passwd的账户和账户对应的shell,而账户和shell之间以tab键分割
命令 cat /etc/passwd | awk -F ':' '{print $1"\t"$7}'
<4> 只显示/etc/passwd的账户和账户对应的shell,而账户与shell之间以逗号分割,而且在所有行添加列名name,shell,在最后一行添加"blue,/bin/nosh"
命令 cat /etc/passwd | awk -F ':' 'BEGIN {print "name,shell"} {print $1","$7} END {print "blue,/bin/nosh"}'
<5> 搜索/etc/passwd有root关键字的所有行
命令 awk -F : '/root/' /etc/passwd
<6> 搜索/etc/passwd有root关键字的所有行,并显示对应的shell 命令 awk -F : '/root/{print $7}' /etc/passwd
<7> 统计/etc/passwd的文件名,每行的行号,每行的列数,对应的完整行内容
命令 awk -F ':' '{print "filename:" FILENAME ",linenum:" NR ",columns:" NF ",linecontent:"$0}' /etc/passwd
5.awk编程
5.1 变量和赋值
除了awk的内置变量,awk还可以自定义变量。
<1> 下面统计/etc/passwd的账户人数
命令 awk '{count++;print $0;} END{print "user count is ",count}' /etc/passwd
说明:count是自定义变量。之前的action{}里都是只有一个print,其实print只是一个语句,而action{}可以有多个语句,以;号隔开。
<2> 上例中没有初始化count变量的值，妥当起见,还是先赋值
命令 awk 'BEGIN {count=0;print "[start]user count is ",count} {count++;print $0;} END{print "user count is ",count}'
<3> 统计某个文件夹下的文件占用的字节数
命令 ls -l|awk 'BEGIN {size=0;} {size+=$5;} END{print "[end]size is ",size}'
说明:统计不包括文件夹的子目录
5.2 条件语句
声明方式:
if表达式. {语句;}
if表达式1. {语句;} else if表达式2. {语句;}
if表达式. {语句;} else {语句;}
<1> 统计某个文件夹下的文件占用的字节数,过滤4096大小的文件一般都是文件夹.
命令 ls -l | awk 'BEGIN {size=0;print "[start]size is ",size} {if($5!=4096) {size+=$5;}} END{print "[end]size is ",size/1024/1024,"M"}'
5.3 循环语句
声明方式: while、do/while、for、break、continun
4.seq命令
seq命令用于以指定增量从首数开始打印数字到尾数，即产生从某个数到另外一个数之间的所有整数，并且可以对整数的格式、宽度、分割符号进行控制。
5. 命令格式
seq [选项] 尾数
seq [选项] 首数 尾数
seq [选项] 首数 增量 尾数
6. 选项
-f:--format,格式
-s:--separator,字符串,使用指定的字符串分割数字默认使用个"\n"分割.
-w:--sequal-width,在列前添加0,使得宽度相同
7. 使用示例
<1> 产生5以内的整数
命令 seq 5
<2> 产生-2~10内的整数,增量为2
命令 seq -2 2 10
<3> 产生98~101之间的整数，并且要求输出数字宽度相同，不足的用空格补足
命令 seq -f "%3g" 98 101
结果
98
99
100
101
<4> 产生98~101之间的整数,并且要求数字之间的分隔符为":::"
命令 seq -s ":::" -f "%03g" 98 101
<5> 输出98~100之间的整数,要求宽度一致
命令 seq -w 98 101 注意:-w不能和-f一起用,输出是同宽的
5.cut命令
cut命令用来显示行中的指定部分，删除文件中指定字段。cut经常用来显示文件的内容。说明：该命令有两项功能，其一是用来显示文件的内容，它依次读取由参数file所指 明的文件，将它们的内容输出到标准输出上；其二是连接两个或多个文件，如cut fl f2 > f3将把文件fl和f2的内容合并起来，然后通过输出重定向符“>”的作用，将它们放入文件f3中。
1. 命令格式
cut选项 参数
2.选项
-b：仅显示行中指定直接范围的内容
-c：仅显示行中指定范围的字符
-d：指定字段的分隔符，默认的字段分隔符为“TAB”
-f：显示指定字段的内容-n：与“-b”选项连用，不分割多字节字符
--complement：补足被选择的字节、
字符或字段
3.参数文件：指定要进行内容过滤的文件。
4.常用示例例如有一个学生报表信息，包含No、Name、Mark、Percent：[root@localhost text]# cat test.txt
No Name Mark Percent
01 tom 69 91
02 jack 71 87
03 alex 68 98使用-f选项提取指定字段：
使用-f选项提取指定字段：
[root@localhost text]# cut -f 1 test.txt
No
01
02
03
[root@localhost text]# cut -f 2,3 test.txt
Name Mark
tom 69
jack 71
alex 68
--complement 选项提取指定字段之外的列（打印除了第二列之外的列）：[root@localhost text]# cut -f 2 --complement test.txt
No Mark Percent
01 69 91
02 71 87
03 68 98
使用-d选项指定字段分隔符：
[root@localhost text]# cat test2.txt No;Name;Mark;Percent
01;tom;69;91
02;jack;71;87
03;alex;68;98
[root@localhost text]# cut -f 2 –d ";" test2.txt
Name
tom
jack
alex
6.sort命令
sort命令是在Linux里非常有用，它将文件进行排序，并将排序结果标准输出。sort命令既可以从特定的文件，也可以从stdin中获取输入。
1. 命令格式
sort选项.参数.
2.选项
-b：忽略每行前面开始出的空格字符；
-c：检查文件是否已经按照顺序排序；
-d：排序时，处理英文字母、数字及空格字符外，忽略其他的字符；
-f：排序时，将小写字母视为大写字母；
-i：排序时，除了040至176之间的ASCII字符外，忽略其他的字符；
-m：将几个排序号的文件进行合并；
-M：将前面3个字母依照月份的缩写进行排序；
-n：依照数值的大小排序；-o<输出文件>：将排序后的结果存入制定的文件；
-r：以相反的顺序来排序；
-t<分隔字符>：指定排序时所用的栏位分隔字符；
+<起始栏位>-<结束栏位>：以指定的栏位来排序，范围由起始栏位到结束栏位的前一栏位。
3.参数文件：指定待排序的文件列表。
4.常用示例
sort将文件/文本的每一行作为一个单位，相互比较，比较原则是从首字符向后，依次按ASCII码值进行比较，最后将他们按升序输出。
[root@mail text]# cat sort.txt
aaa:10:1.1
ccc:30:3.3
ddd:40:4.4
bbb:20:2.2
eee:50:5.5
eee:50:5.5
按照字符排序
[root@mail text]# sort sort.txt
aaa:10:1.1
bbb:20:2.2
ccc:30:3.3
ddd:40:4.4
eee:50:5.5
eee:50:5.5
忽略相同行使用-u选项或者uniq：
[root@mail text]# cat sort.txt
aaa:10:1.1
ccc:30:3.3
ddd:40:4.4
bbb:20:2.2
eee:50:5.5
eee:50:5.5
[root@mail text]# sort -u sort.txt
aaa:10:1.1
bbb:20:2.2
ccc:30:3.3
ddd:40:4.4
eee:50:5.5或者
[root@mail text]# uniq sort.txt
aaa:10:1.1
ccc:30:3.3
ddd:40:4.4
bbb:20:2.2
eee:50:5.5
注：uniq本身去重，是按照相邻行内容相同的规则进行去重
sort的-n、-r、-k、-t选项的使用：
[root@mail text]# cat sort.tx0t
AAA:BB:CC
aaa:30:1.6
ccc:50:3.3
ddd:20:4.2
bbb:10:2.5
eee:40:5.4
eee:60:5.1
将BB列按照数字从小到大顺序排列：
[root@mail text]# sort -nk2 -t: sort.txt
AAA:BB:CC
bbb:10:2.5
ddd:20:4.2
aaa:30:1.6
eee:40:5.4
ccc:50:3.3eee:60:5.1
将CC列数字从大到小顺序排列：
[root@mail text]# sort -nrk3 -t: sort.txt
eee:40:5.4
eee:60:5.1
ddd:20:4.2
ccc:50:3.3
bbb:10:2.5
aaa:30:1.6
AAA:BB:CC
# -n是按照数字大小排序，-r是以相反顺序，-k是指定需要排序的栏位，-t指定栏位分隔符为冒号
7.uniq命令
如果排序完成了，将重复的行仅显示一次。注意，若文件未排序，该命令失效。
1.命令格式uniq [-ic] filename
2.参数-i：忽略大小写
-c：统计每行重复的次数
-d或
--repeated：仅显示重复出现的行列；
3.使用示例对文件的内容进行去重
sort input.txt | uniq
或者写成
sort –u input.txt
注意不要单独使用：uniq input.txt,是达不到不相邻行的去重效果
统计各行在文件中出现的次数
sort file.txt | uniq -c
在文件中找出重复的行
sort file.txt | uniq -d
8.wc命令
统计文件中有多少行，多少字，多少字符
1.命令格式wc [-lwm] filename
2.参数
-l：仅显示行数
-w：仅显示字数英文单词个数.
-m：字符数
3.常用示例查看一个文件中有多少行
wc -l input.txt
