sort、uniq、tr命令与shell正则表达式及正则表达的相关练习题

一、sort命令 （文件内容排序）

1.概述：以行为单位对文件内容进行排序，也可以根据不同的数据类型来排序

2.法格式：

sort [选项] 参数
cat file | sort 选项

3.常用选项

• -f：忽略大小写，默认会大写字母排在前面
• -b：忽略每行前面的空格
• -n：按照数字进行排序
• -r：反向排序
• -u：等同uniq，表示相同的数据仅显示一行
• -t：指定字段分隔符，默认使用[tab]键分隔
• -k：指定排序字段
• -o <输出文件>：将排序后的结果转存至指定文件

4.实例

-u相同数据只显示一行

去重是在sort排序之后的前提下进行去重

-t 一般与 -k 一起使用
以uid（第三字段）顺序排列/etc/passwd文件内容

sort -t ":" -k 3 /etc/passwd

结合du使用

-b 忽略每行的空格

二、uniq命令

==1.概述：用于报告或者忽略文件中连续的重复行，常与sort命令结合使用 ==
2.语法格式：

uniq [选项] 参数
cat file | uniq 选项

3.常用选项：

• -c：进行计数，并删除文件中重复出现的行
• -d：仅显示连续的重复行
• -u：仅显示出现一次的行
  

继续使用管道符号

三、tr命令

1.概述：常用于对来自标准输入的字符进行替换、压缩和删除
语法格式：

tr [选项] 参数

2.常用选项：

• -c：保留字符集1的字符，其他的字符（包括换行符\n）用字符集2替换
• -d：删除所有属于字符集1的字符
• -s：将重复出现的字符串压缩为一个字符串，用字符集2 替换 字符集1
• -t：字符集2 替换 字符集1，不加选项同结果

3.参数：
字符集1：
指定要转换或删除的原字符集。当执行转换操作时，必须使用参数“字符集2”指定转换操作时，必须使用参数“字符集2”指定转换的目标字符集。但执行删除操作时，不需要参数 “字符集2”
字符集2：
指定要转换成的目标字符集

4.实例

echo abc | tr 'a-z' 'A-Z'
echo abc | tr 'ac'  'AZ'

-c 的使用

-d 删除 字符集1的

echo 'hello world' | tr -d 'od'

-s压缩字符串成一个字符串，或字符集1压缩成1字符串 换成字符集2

echo "thissss is a text 1 innnnnnne." | tr -s 'sn'
echo "thissss is a text 1 innnnnnne." | tr -s 'sn' 'AB'

删除空行
echo -e "aa\n\n\n\n\nbb" | tr -s "\n"
cat testfile4| tr -s "\n"

把路径变量中的冒号":"，替换成换行符"\n"实现每行输出
echo $PATH | tr -s ":" "\n"

以冒号分割
echo -e "aa\n\n\n\n\nbb" | tr -s "\n" ":"

删除Windows文件“照成”的 ‘^M’ 字符

1.第一种方法
cat abc.txt | tr -s "\r" "\n" > new_file
或
cat abc.txt | tr -d "\r" > new_file

cat -v abc.txt

2.第二种方法
yum install -y dos2unix
dos2unix abc.txt

Linux中遇到换行符（"\n"）会进行回车+换行的操作，回车符反而只会作为控制字符（"^M"）显示，不发生回车的操作。而windows中要回车符+换行符（"\r\n"）才会回车+换行，缺少一个控制符或顺序不对都不能正确的另起一行。

数组排序
如果使用算法比较复杂使用sort和tr结合管道符号则会简单一点

arr=(3 5 6 2 1 7)
echo ${arr[@]} | tr " " "\n" | sort -n | tr "\n" " "     

四、cut命令

1、cut概述
显示行中的指定部分，删除文件中指定字段
2.语法格式:

 cut 选项参数
 cat file | cut 选项 

2、常用选项

• -f :通过指定哪一个字段进行提取。cut命令使用"tab"作为默认的字段分隔符
• -d : "TAB”是默认的分隔符，使用此选项可以更改为其他的分隔符
• –complement :此选项用于排除所指定的字段
• –output-delimiter :更改输出内容的分隔符

cut -d ':'-f 1 /etc/passwd
grep '/bin/bash' /etc/passwd | cut -d ':' -f 1-4,6,7       #以，分隔的开始字段和结束字段指定字段的范围（显示1-4字段和第6第7字段）
grep '/bin/bash' /etc/passwd | cut -d ':' --complement -f 2      #排除第二个字段
cut -d ':' -f1,7 --output-delimiter=' ' /etc/passwd              #输出分隔符使用空格分隔

五、正则表达式

通常用于判断语句中，用于检查某一字符串是否满足某一格式
正则表达式是由普通字符与元字符组成
普通字符包括大小写字母、数字、标点符号及一些其他符号
元字符是指在正则表达式中具有特殊意义的专用字符，可以用来规定其前导字符（即位于元字符前面的字符）在目标对象中的出现模式

1、基础正则表达式常见元字符 ( 支持的工具: grep、 egrep、 sed、 awk)

\ :转义字符，用于取消特殊符号的含义，例: \!、\n、\$等

^ :匹配字符串开始的位置，例: ^a、 ^the、 ^#、^[a-z]

$ :匹配字符串结束的位置，例: word$、 ^$匹配空行

. :匹配除\n之外的任意的一个字符，例: go.d、 g..d

* :匹配前面子表达式0次或者多次，例: goo*d、 go.*d

[list] :匹配list列表中的一个字符，例: go[ola]d， [abc]、 [a-z]、 [a-z0-9]、 [0-9]匹配任意一位数字

[^list] :匹配任意非list列表中的一个字符，例: [^0-9]、 [^A-20-9]、 [^a-z]匹配任意一位非小写字母

\{
    
    n\} :匹配前面的子表达式n次，例: go\{
    
    2\}d、 '[0-9]\{2\} '匹配两位数字

\{
    
    n,\} :匹配前而的子表达式不少于n次，例: go\{
    
    2, \}d、'[0-9]\{2, \}'匹配两位及两位以上数字

\{
    
    n,m\} :匹配前面的子表达式n到m次，例: go\{
    
    2,3\}d、 ' [0-9]\{2,3\}'匹配两位到三位数字

注: egrep、 awk使用{
    
    n}、{
    
    n,小、{
    
    n, m}匹配时“{
    
    }”前不用加“\” 

2、扩展正则表达式元字符 (支持的工具: egrep、 awk)

+ :匹配前面子表达式1次以上，例: go+d, 将匹配至少一个o， 如god、 good、 goood等

? :匹配前面子表达式0次或者1次，例: go?d， 将匹配gd或god

() :将括号中的字符串作为一个整体，例1: g(oo)+d," 将匹配oo整体1次以上，如good、gooood等

| :以或的方式匹配字条串，例: g (oo|la)d," 将匹配good或者glad

3.例题邮箱地址匹配

用户名要求字母开头，中间可用最多2个符号，不能使用符号结尾，用户名长度为最少6个字符
@sohu.com
@qq.com
@163.com
@wo.cn
@sina.com.cn
用户名@子域名.顶级域名
顶级域名字符串长度一般在2到5

egrep ^[a-zA-Z0-9]{
    
    1,}[a-zA-Z0-9\.\-]{
    
    4,}[a-zA-Z0-9]@[a-zA-Z0-9_\.\-]+\.([a-zA-Z]{
    
    2,5})$

4.筛选电话号码

egrep ^[1][3|5][0-9][ ]?[0-9]{
    
    4}[ ]?[0-9]{
    
    4}$   number.txt