Shell脚本之sed清洗数据

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接： https://blog.csdn.net/weixin_45395090/article/details/102748160

数据

此次数据是用来导入HIVE表中，但是由于数据不规范，需要做清洗，
下面的数据不仅有空出一行，并且每个需要录入的字段都有空格。

| 1 | 2 | 2016-06-03 |

| 1 | 3 | 2016-06-08 |

| 2 | 3 | 2016-06-08 |

| 3 | 4 | 2016-06-09 |

清洗方法

此次咱用shell的sed方法来做清洗，代码如下：

#!/bin/sh
echo 'input clearing file name?'
read name

#删除所有空格
sed -i s/[[:space:]]//g $name
#首尾替换
sed -i 's/^[|]*//g' $name
sed -i 's/[|]*$//g' $name
#去空行：
sed -i '/^\s*$/d' $name
#中间的换成逗号
sed -i 's/|/,/g' $name