sort命令、uniq命令、tr命令

一、sort命令

1.1、定义

sort命令------以行为单位对文件内容进行排序，也可以根据不同的数据类型来排序

1.2、语法格式:

sort [选项] 参数
cat file l sort 选项

1.3、常用选项

-f:忽略大小写，默认会将大写字母排在前面
-b:忽略每行前面的空格
-n:按照数字进行排序
-r:反向排序
-u:等同于uniq,表示相同的数据仅显示一行          #相当于于去重  
-t:指定字段分隔符,默认使用[Tab]键分隔           #实际工作用的最多
-k:指定排序字段                              #实际工作用的最多
-o：<输出文件>:将排序后的结果转存至指定文件      #相当于文件另存为

二、uniq命令

2.1、定义

uniq命令—用于报告或者忽略文件中连续的重复行，常与sort命令结合使用

2.2、语法格式:

uniq      [选项]     参数
cat file | uniq 选项

2.3、常用选项:

-c:进行计数，并删除文件中重复出现的行
-d:仅显示连续的重复行
-u:仅显示出现一次的行

三、tr命令

3.1、定义

tr命令—常用来对来自标准输入的字符进行替换、压缩和删除

扫描二维码关注公众号，回复： 12444119 查看本文章

3.2、语法格式:

 tr   [选项]  [参数]

3.3、常用选项:

-c:保留字符集1的字符，其他的字符（包括换行符\n）用字符集2替换
-d:删除所有属于字符集1的字符
-s:将重复出现的字符串压缩为一个字符串;用字符集2替换字符集1
-t:字符集2替换字符集1，不加选项同结果。

参数:

字符集1:指定要转换或删除的原字符集。当执行转换操作时，必须使用参数"字符集2"指定转换的目标字符集。但执行删
除操作时，不需要参数"字符集2";
字符集2:指定要转换成的目标字符集。

删除空行

echo -e "aa\n\n\n\n\nbb" | tr -s "\n"

cat testfile4 | tr -s "\n"

把路径变量中的冒号"："，替换成换行符"\n"

echo $PATH | tr -s ":" "\n"

echo -e "aa\n\n\n\n\nbb" | tr -s "\n" "："

删除Windows文件“造成‘^M’字符

cat file | tr -s "\r" "\n" > new_file

或

cat file | tr -d "\r" > new file

Linux中遇到换行符("\n")会进行回车+换行的操作，回车符反而只会作为控制字符(’^M’)显示，不发生回车的操作。
而windows中要回车符+换行符("\r\n")才会回车+换行，缺少一个控制符或者顺序不对都不能正确的另起一行。
(Linux的’^M’相当于Windows的\r，属于不兼容的问题)