集群时间同步、定时任务--Hadoop学习笔记

定时任务

每隔一分钟向/opt/module/hadoop-2.8.2/bailong.txt中追加一个+号。

[root@hadoop102 hadoop-2.8.2]# crontab -e

*/1 * * * * /bin/echo "+" >> /opt/module/hadoop-2.8.2/bailong.txt

启动服务

[root@hadoop102 hadoop-2.8.2]# service crond restart

查看文件

[root@hadoop102 hadoop-2.8.2]# tail bailong.txt

也可以查看脚本

[root@hadoop102 hadoop-2.8.2]# crontab -l
*/1 * * * * /bin/echo "+" >> /opt/module/hadoop-2.8.2/bailong.txt

不需要了可以删除掉

[root@hadoop102 hadoop-2.8.2]# crontab -r

集群时间同步

以102机器为时间服务器，其他所有机器与102进行时间同步。比如，每隔10分钟同步一次时间。此操作需要root权限。

查询机器是否安装ntp，ntp是网络时间协议，通过这个协议同步时间

[root@hadoop102 hadoop-2.8.2]# rpm -qa | grep ntp

修改ntp配置文件

[root@hadoop102 hadoop-2.8.2]# vim /etc/ntp.conf

修改网段上的所有机器可以访问；注释掉其他网络，集群在局域网中；末尾加入本机节点，当网络丢失时依然可以采用本地时间作为时间服务器；

restrict 192.168.133.0 mask 255.255.255.0 nomodify notrap

#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst

server 127.127.1.0
fudge 127.127.1.0 stratum 10

修改/etc/sysconfig/ntpd文件，让硬件时间与系统时间一致

[root@hadoop102 hadoop-2.8.2]# vim /etc/sysconfig/ntpd

SYNC_HWCLOCK=yes

查看ntpd状态，启动ntpd服务

[root@hadoop102 hadoop-2.8.2]# service ntpd statu
[root@hadoop102 hadoop-2.8.2]# service ntpd start

设置ntpd开机启动

[root@hadoop102 hadoop-2.8.2]# chkconfig ntpd on

这样102就运行其他网段访问了。

其他机器的配置也需要root权限

[root@hadoop103 hadoop-2.8.2]# crontab -e

编写，表示每一小时同步一次时间

* */1 * * * /usr/sbin/ntpdate hadoop102