一、sort命令
以行为单位对文件内容进行排序，也可以根据不同的数据类型来排序。
语法格式：
sort [ 选项] 参数 #参数需要是文件
cat file | sort 选项
1 常用选项：
-f：忽略大小写，默认会将大写字母排在前面
-b: 忽略每行前面的空格
-n：按照数字进行排序
-r：反向排序（降序）
-u：等同于uniq，表示相同的数据仅显示一行
-t：指定字段分隔符，，默认使用tab 分隔
-k：指定排序字段
-o <输出文件>：将排序后的结果转存至指定文件
-f ：
-r ：
-t 、-k 、 -n：
sort -t ':' -k 3 -n /etc/passwd #使用：来分隔后的第三段，且按照顺序排列。
du -a | sort -nr -o du.txt #把当前按照降序排序，并且写入du.txt文件中
二、uniq命令
1.uniq格式
用于报道或者忽略文件中连续的重复行，常与sort 命令结合使用
语法格式：
uniq [选项] 参数
cat file | uniq 选项
常用选项
-c ：进行计数，并删除文件中重复出现的行
-d ：仅显示连续的重复行
-u ：仅显示出现一次的行
1.1uniq 去除重复行：
1.2-c：进行计数，并删除文件中重复出现的行
1.3-d：仅显示连续的重复行
扫描二维码关注公众号，回复：
12776858 查看本文章
1.4 -u: 仅显示出现一次的行
现实应用：
在定期巡检中可以使用：
若我方服务器被攻击，可以统计出某个ip攻击我方多少次的行为，确定某些ip地址并且进行限制访问。
2. uniq应用：
t1.txt 为 1 2 3 4 5 6 7 8
t2.txt 为 1 3 5 7 9
例一：对比两个文件中相同部分：
交集, 即两个文件都存在的列, 使用 sort 排序之后再使用 uniq -d 命令即可实现
例二：求两个文件的并集
并集, 即两个文件合并在一起, 去除重复的行, 使用 sort 排序之后再使用 uniq 或者 sort -u
例三：求两个文件的差集（t1中有相对于t2来说，t2没有的）
# 实现思路: 差集(t1减t2), 把 t2 的行重复2次（我之前就1次的时候，出错了，结果为2个文件加一起只出现的单次了，不能这样）和 t1 的元素放到一起排序, 只输出出现一次的项
t1.txt相对于t2的差异：
错误展示：
三 、tr命令
1.常用来对来自标准输入的字符进行替换、压缩和删除
语法格式：
tr [ 选项 ] [ 参数 ] #这里的参数不能是文件
常用选项：
-c: 保留字符集1的字符，其他的字符（包括换行符\n）用字符集2替换
-d：删除所有属于字符集1的字符
-s：将重复出现的字符串压缩为一个字符串；用字符集2 替换 字符集1
-t： 字符集2 替换 字符集1，不加选项同结果。
参数：
字符集1 ：指定要转换或删除的原字符集。当执行转换操作时，必须使用参数“字符集2”
指定转换的目标字符集。但执行删除操作时，不需要参数“字符集2”。
字符集2：指定要转换成的目标字符集。
直接转换：
echo "dauwwa" | tr 'a-z' 'A-Z'
2.-c：保留字符集1的字符，其他的字符（包括换行符\n）用字符集2替换
注意：输出语句中字符串后面有个默认的换行符\n，因此如果直接把\n给替换了，所输出的就会是同一行了。
3. -d：删除所有属于字符集1的字符
4. -s：将重复出现的字符串压缩为一个字符串；用字符集2 替换 字符集1
双引号中 空格也是字符
5.解决从win传过来的文件符号的错乱的操作
四、数组排序
就是运用sort的-n指令对于数字进行排序。
echo ${arr[@]}|tr ' ' '\n' | sort -n
五、正则表达式
-
正常输入框中所有的字符格式都是通过正则表达式去判断的
-
通常用于判断语句中，用来检查某一字符串是否满足某一格式
-
正则表达式是由普通字符与元字符组成
-
普通字符 包括大小写字母、数字、标点符号以及其他符号
-
元字符是正则表达式中具有特殊意义的专用字符
普通的正则表达式
支持的工具：grep、egrep、sed、awk
基础正则表达式常见元字符：
\ ：转义字符，用于取消特殊符号的含义，例：\!、\n、\$等
^ ：匹配字符串开始的位置，例：^a、^the、^#、^[a-z]
$ ：匹配字符串结束的位置，例：word$、^$匹配空行
. ：匹配除\n之外的任意的一个字符，例：go.d、g..d
* ：匹配前面子表达式0次或者多次，例：goo*d、go.*d
[list] ：匹配list列表中的一个字符，例：go[ola]d，[abc]、[a-z]、[a-z0-9]、[0-9]匹配任意一位数字
[^list] ：匹配任意非list列表中的一个字符，例：[^0-9]、[^A-Z0-9]、[^a-z]匹配任意一位非小写字母
\{
n\} ：匹配前面的子表达式n次，例：go\{
2\}d、'[0-9]\{2\}'匹配两位数字
\{
n,\} ：匹配前面的子表达式不少于n次，例：go\{
2,\}d、'[0-9]\{2,\}'匹配两位及两位以上数字
\{
n,m\} ：匹配前面的子表达式n到m次，例：go\{
2,3\}d、'[0-9]\{2,3\}'匹配两位到三位数字
注：egrep、awk使用{
n}、{
n,}、{
n,m}匹配时“{
}”前不用加“\”
扩展的正则表达式
支持的工具：egrep、awk
扩展正则表达式元字符：
+ ：匹配前面子表达式1次以上，例：go+d，将匹配至少一个o，如god、good、goood等
? ：匹配前面子表达式0次或者1次，例：go?d，将匹配gd或god
() ：将括号中的字符串作为一个整体，例1：g(oo)+d，将匹配oo整体1次以上，如good、gooood等
| ：以或的方式匹配字条串，例：g(oo|la)d，将匹配good或者glad
正则表达式的例子：
