Linux Hive 脚本Crontab定时部署

目前用Hive需要跑一批定时数据抽取任务,所以想到了Crontab 定时模式,以下是几天来踩的坑;

希望对第一次用Crontab的新人一点帮助。

1、写好sh脚本  然后利用Crontab -e 进行部署,00 11 * * *  /home/dir/baidu_update_data.sh > /file.log 2>$1类似于之中格式, * * * * * 分别代表 分/时/日/月/周,后面需要追加一个日志文件定向,不然的话,你不了解脚本执行情况,建议用sh和全路径,上面的脚本就是在每天的11点启动;然后日志在file.log 文件里面,最好和sh放同一路径下面,方便检查执行情况;

2、一定要给脚本执行权限,一定要给脚本执行权限  chmod +x file ,不然跑不了,或者 chmod 777 file,给文件全部权限;初用者很容易遗忘这一点

3、/bin/bash^M: bad interpreter: No such file or directory  日常报错 

报错的原因是:在Windos下与Linux下编辑,格式会有差异,Windows上传的东西,导致格式变了,所以只需要改一下格式

vi filename

:set ff=unix

:wq

即可,应该就可以执行了

4:Could not open input file for reading 报错:注意脚本放的目录和权限,被坑了好久,最好放hive目录下你自己新建的文件中,没有老员工指导,估计一天都解决不了,扎心!

扫描二维码关注公众号,回复: 1853810 查看本文章

5、观察执行成功是否,需要看日志;日志非常重要!!!

猜你喜欢

转载自blog.csdn.net/zehui6202/article/details/79910488