大数据-集群分发脚本

编写集群分发脚本xsync

三台机器已做好域名解析(hadoop102、hadoop103、hadoop104)

scp(secure copy)安全拷贝

  1. scp定义:scp可以实现服务器与服务器之间的数据拷贝。(from server1 to server2)
  2. 基本语法
# 命令   递归       要拷贝的文件路径/名称    目的用户@主机:目的路径/名称
 scp   -r          $pdir/$fname              $user@hadoop$host:$pdir/$fname

(3)案例实操

scp -r root@hadoop101:/opt/module root@hadoop103:/opt/module

rsync 远程同步工具

  • rsync主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点。
  • rsync和scp区别:用rsync做文件的复制要比scp的速度快,rsync只对差异文件做更新。scp是把所有文件都复制过去。
  1. 基本语法
# 命令   选项参数   要拷贝的文件路径/名称    目的用户@主机:目的路径/名称
rsync    -rvl       $pdir/$fname              $user@hadoop$host:$pdir/$fname

选项参数说明

选项 功能
-r 递归
-v 显示复制过程
-l 拷贝符号连接

案例实操
把hadoop101机器上的/opt/software目录同步到hadoop102服务器的root用户下的/opt/目录

rsync -rvl /opt/software/ root@hadoop102:/opt/software

注意:这里需要安装rsync命令

yum install rsync

集群分发脚本

在/usr/bin目录下xsync创建文件,文件内容如下:

#!/bin/bash
#1 获取输入参数个数,如果没有参数,直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi

#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname

#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir

#4 获取当前用户名称
user=`whoami`

#5 循环
for((host=103; host<105; host++)); do
        echo ------------------- hadoop$host --------------
        rsync -rvl $pdir/$fname $user@hadoop$host:$pdir
done

然后修改文件执行权限:

chmod 777 xsync

然后测试一下:

xsync /usr/bin

猜你喜欢

转载自blog.csdn.net/weixin_44704261/article/details/111869784