Shell编程——sort排序、uniq忽略重复、tr替换压缩删除、cut指定删除字段、正则表达式元字符

sort 命令

• sort命令—以行尾单位对文件内容进行排序，也可以根据不同的数据类型来排序
• 语法格式
  
  
• 常用选项：
  • -f：忽略大小写，默认会将大写字母排在后面
  • -b：忽略每行前面的空格
  • -n：按照数字进行排序
  • -r：反向排序
  • -u：等同于uniq，表示相同的数据仅显示一行
  • -t：指定字段分隔符，默认使用[tab]键分隔
  • -k：指定排序字段
  • -o <输出文件>：将排序后的结果转存至指定文件
• 选项效果验证（理论都是互相copy同一套实践出真理）

  • 什么都不加：空行默认显示前面，字符间空格忽略再按首字符排序优先级为空格>数字大小>字母a到z顺序（小写优先于大写）
    
    

  • -f参数：按首字符包括空格排序优先级为空格>数字大小>字母a到z顺序（大写优先于小写）
    

  • -n参数：对数字大小进行排序
    

  • -r参数：可配合其他参数使用使结果相反进行排序
    

  • -u参数：对相同的数据
    

  • -t -k参数：-t后面加指定的分割符不加则默认为[tab]键再指定第几段进行比较排序
    

  • 查看空间磁盘占用情况
    du -a | sort -n -r
    

uniq 命令

• uniq命令——用于报告或者忽略文件中连续的重复行，常与sort命令结合使用
• 语法格式
  
  
• 常用选项：
  • -c：进行计算，并删除文件中重复出现的行
  • -d：仅显示连续的重复行
  • -u：仅显示出现一次的行
• 实践出真理

  • 不添加参数：连续重复的行只显示一条
    

  • 因为去除重复不够彻底可以通过配合sort命令来使用
    

  • -c参数：统计连续重复的行次数
    

  • -d参数：仅显示连续重复的行
    

  • -u参数：仅显示不连续重复的行
    

tr 命令

• tr命令——常用来对来自标准输入的字符进行替换、压缩和删除
• 语法格式
  
• 常用选项：
  • -c：保留字符集1的字符，其他的字符（包括换行符\n）用字符集2替换
  • -d：删除所有属于字符集1的字符
  • -s：将重复出现的字符串压缩为一个字符串：用字符集2 替换 字符集1
  • -t：字符集2替换字符集1，不加选项同结果
• 参数：
  • 字符集1：指定要转换或删除的原字符集。当执行转换操作时，必须使用参数"字符集2"指定转换的目标字符集。但执行删除操作时，不需要参数"字符集2"
  • 字符集2：指定要转换成的目标字符集
• 实践出真理
  • 不加参数和-t：与t参数相同效果将字符集2替换成字符集1
    
  • -c参数：字符集1规定的内容不替换，其他都替换成字符集2的内容包括换行符
    
  • -d参数：字符集1里面规定的字符全删除
    
  • -s参数：字符集1带上要去重的字符进行去重，如果有跟字符集2则去重后进行替换操作
    
• 删除空行
  • echo -e "aa\n\n\n\nbb" | tr -s "\n"
  • cat test.txt | tr -s "\n"
    
• 把路径变量中的冒号":"，替换成换行符\n
  • echo $PATH | tr -s ":" "\n"
  • echo -e "aa\n\n\n\n\nbb" | tr -s "\n" ":"
    
• 删除Windows文件造成的'^M'字符
  • cat abc.txt | tr -s "\r" "\n" > abc1.txt
  • cat abc.txt | tr -d "\r" > abc2.txt
  • yum install -y dos2 unix
  • dos2 unix adc.txt
  • Linux中遇到换行("\n")会进行回车+换行的操作，回车符反而只会作为控制字符("^M")显示，不发生回车的操作。而Windows中要回车符+换行符("\r\n")才会回车+换行，缺少一个控制符或者顺序不对都不能正确的另起一行
• 数组排序
  • echo ${array[@]} |tr ' ' '\n' | sort -n > abc.txt
    

cut 命令

• cut命令——显示行中的指定部分，删除文件中指定字段
• 语法格式：
  
  
• 常用选项：
  • -f：通过指定哪一个字段进行提取。cut 命令使用"TAB"作为默认的字段分隔符
  • -d："TAB"是默认的分隔符，使用此选项可以更改为其他的分隔符
  • - -complement：此选项用于排除所指定的字段
  • - -output-delimiter：更改输出内容的分隔符
• 实践实践再实践
  • -d-f参数：d指定分隔符为：f提取第一段
    cut -d ':' -f 1 /etc/passwd

grep '/bin/bash' /etc/passwd | cut -d ':' -f 1-4,6,7
    
• - -complement参数：
  grep '/bin/bash' /etc/passwd | cut -d ':' --complement -f 1-4
  
• - -output-delimiter参数：
  

正则表达式

• 正则表达式——通常用于判断语句中，用来检查某一字符串是否满足某一格式
• 正则表达式是由普通字符与元字符组成
  • 普通字符包括大小写字母、数字、标点符号及一些其他符号
  • 元字符是指在正则表达式中具有特殊意义的专用字符，可以迎来规定其前导字符（即位于元字符前面的字符）在目标对象中的出现模式

基础正则表达式常见元字符

• 支持：grep、egrep、sed、awk
  • \ :转义字符，用于取消特殊符号的含义，例: \!、\n、\$等
  • ^ :匹配字符串开始的位置，例: ^a、 ^the、 ^#、^[a-z]
  • $ :匹配字符串结束的位置，例: word$、 ^$匹配空行
  • . :匹配除\n之外的任意的一个字符，例: go.d、 g..d
  • * :匹配前面子表达式0次或者多次，例: goo*d、 go.*d
  • [list] :匹配list列表中的一个字符，例: go[ola]d， [abc]、 [a-z]、 [a-z0-9]、 [0-9]匹配任意一位数字
  • [^list] :匹配任意非list列表中的一个字符，例: [^0-9]、 [^A-20-9]、 [^a-z]匹配任意一位非小写字母
  • \{n\} :匹配前面的子表达式n次，例: go\{2\}d、 '[0-9]\{2\} '匹配两位数字
  • \{n,\} :匹配前而的子表达式不少于n次，例: go\{2, \}d、'[0-9]\{2, \}'匹配两位及两位以上数字
  • \{n,m\} :匹配前面的子表达式n到m次，例: go\{2,3\}d、 ' [0-9]\{2,3\}'匹配两位到三位数字
  • 注: egrep、 awk使用{n}、{n,小、{n, m}匹配时“{}”前不用加“\”

扩展正则表达式元字符

• 支持: egrep、 awk
  • + :匹配前面子表达式1次以上，例: go+d, 将匹配至少一个o， 如god、 good、 goood等
  • ? :匹配前面子表达式0次或者1次，例: go?d， 将匹配gd或god
  • () :将括号中的字符串作为一个整体，例: g(oo)+d," 将匹配oo整体1次以上，如good、gooood等
  • | :以或的方式匹配字条串，例: g (oo|la)d," 将匹配good或者glad

例子

• 实践实践再实践
• 只显示13,15开头的手机号可以三位一空格四位一空格的形式显示
  egrep "^1[35][0-9] ?[0-9]{4} ?[0-9]{4}$" 1.txt
  
  
• 邮箱格式，用户名要求字母开头，中间可用最多2种符号 -或.，不能使用符号结尾，用户名长度为最少6个字符
• 用户名@子域名.顶级域名
• 顶级域名字符串长度一般在2到5
• @sohu.com
• @qq.com
• @163.com
• @wo.cn
• @sina.com.cn
  

用户名@ : ^[a-zA-Z][a-zA-Z0-9\-\.]{4,}[a-zA-Z0-9]@
子域名: [a-zA-Z0-9_\-\.]+
.顶级域: \.([a-zA-Z]{2,5})$

egrep "^[a-zA-Z][a-zA-Z0-9\-\.]{4,}[a-zA-Z0-9]@([a-zA-Z0-9_\-\.]+)\.([a-zA-Z]{2,5})$" email.txt