用户时间数据的检查

查看数据

hadoop fs -ls /tmp/wangchenlong/action_time

数据:2017-02-02 至 2017-02-28;2017-08-01 至 2017-08-24;即2月与8月数据;缺少1月数据;而1月数据被Hive转移至:

hadoop fs -ls /warehouse/action_time/

移动文件:

hadoop fs -mv /warehouse/action_time/user_id_* /tmp/wangchenlong/action_time/

转移全部1月数据,至/tmp/wangchenlong/action_time

查看日志文件

hadoop fs -ls /logs/django/

全部gz文件都已经提取完成用户时间,剩余日志:3月、4月、5月;

剩余工作:执行lzma日志,调研中,默认MR作业不支持lzma格式。

猜你喜欢

转载自blog.csdn.net/u012515223/article/details/77770212