centos 配置rsync+inotify数据实时同步

何为rsync?

定义:

rsync是一个开源的快速备份工具,可以在不同主机之间镜像同步整个目录树,支持增量备份,保持链接和权限,非常适用于异地备份

何为源端和发起端?

在远程同步过程中,负责发起rsync同步操作的客户机称为++发起端++,而负责响应来及客户机的rsync同步操作的服务器为++同步源++。在同步过程中,同步源负责提供文档的原始位置,而发起端对该位置具有读写权限。

rsync命令的基本用法:
备份的基本格式:“rsync [选项] 原始位置 目标位置”

-v, --verbose 详细模式输出
-q, --quiet 精简输出模式
-c, --checksum 打开校验开关,强制对文件传输进行校验
-a, --archive 归档模式,表示以递归方式传输文件,并保持所有文件属性,等于-rlptgoD
-r, --recursive 对子目录以递归模式处理 -R, --relative 使用相对路径信息 -b, --backup 创建备份,也就是对于目的已经存在有同样的文件名时,将老的文件重新命名为~filename。可以使用--suffix选项来指定不同的备份文件前缀 --backup-dir 将备份文件(如~filename)存放在在目录下 -suffix=SUFFIX 定义备份文件前缀 -u, --update 仅仅进行更新,也就是跳过所有已经存在于DST,并且文件时间晚于要备份的文件,不覆盖更新的文件 -l, --links 保留软链结 -L, --copy-links 想对待常规文件一样处理软链结 --copy-unsafe-links 仅仅拷贝指向SRC路径目录树以外的链结 --safe-links 忽略指向SRC路径目录树以外的链接 -H, --hard-links 保留硬链结 -p, --perms 保持文件权限 -o, --owner 保持文件属主信息 -g, --group 保持文件属组信息 -D, --devices 保持设备文件信息 -t, --times 保持文件时间信息 -S, --sparse 对稀疏文件进行特殊处理以节省DST的空间 -n, --dry-run现实哪些文件将被传输 -w, --whole-file 拷贝文件,不进行增量检测 -x, --one-file-system 不要跨越文件系统边界 -B, --block-size=SIZE 检验算法使用的块尺寸,默认是700字节 -e, --rsh=command 指定使用rsh、ssh方式进行数据同步 --rsync-path=PATH 指定远程服务器上的rsync命令所在路径信息 -C, --cvs-exclude 使用和CVS一样的方法自动忽略文件,用来排除那些不希望传输的文件 --existing 仅仅更新那些已经存在于DST的文件,而不备份那些新创建的文件 --delete 删除那些DST中SRC没有的文件 --delete-excluded 同样删除接收端那些被该选项指定排除的文件 --delete-after 传输结束以后再删除 --ignore-errors 及时出现IO错误也进行删除 --max-delete=NUM 最多删除NUM个文件 --partial 保留那些因故没有完全传输的文件,以是加快随后的再次传输 --force 强制删除目录,即使不为空 --numeric-ids 不将数字的用户和组id匹配为用户名和组名 --timeout=time ip超时时间,单位为秒 -I, --ignore-times 不跳过那些有同样的时间和长度的文件 --size-only 当决定是否要备份文件时,仅仅察看文件大小而不考虑文件时间 --modify-window=NUM 决定文件是否时间相同时使用的时间戳窗口,默认为0 -T --temp-dir=DIR 在DIR中创建临时文件 --compare-dest=DIR 同样比较DIR中的文件来决定是否需要备份 -P 等同于 --partial --progress 显示备份过程 -z, --compress 对备份的文件在传输时进行压缩处理 --exclude=PATTERN 指定排除不需要传输的文件模式 --include=PATTERN 指定不排除而需要传输的文件模式 --exclude-from=FILE 排除FILE中指定模式的文件 --include-from=FILE 不排除FILE指定模式匹配的文件 --version 打印版本信息 --address 绑定到特定的地址 --config=FILE 指定其他的配置文件,不使用默认的rsyncd.conf文件 --port=PORT 指定其他的rsync服务端口 --blocking-io 对远程shell使用阻塞IO -stats 给出某些文件的传输状态 --progress 在传输时现实传输过程 --log-format=formAT 指定日志文件格式 --password-file=FILE 从FILE中得到密码 --bwlimit=KBPS 限制I/O带宽,KBytes per second -h, --help 显示帮助信息

现在向大家演示rsync+inotify实时同步的配置

准备条件:centos 7.4版本

同步源端ip:192.168.100.129
发起端ip:  192.168.100.130 [root@localhost ~]# rpm -q rsync //系统默认已安装 rsync-3.0.9-18.el7.x86_64

一、配置原服务器

1、修改/etc/rsyncd.conf配置文件
[root@localhost ~]# vim /etc/rsyncd.conf 
uid = nobody
 gid = nobody
 use chroot = yes                  //禁锢在源目录
 address = 192.168.100.129 //监听本地端口 port 873 //监听端口 log file = /var/log/rsyncd.log //日志文件位置 pid file = /var/run/rsyncd.pid //进程id存放位置 hosts allow = 192.168.100.0/24 //允许访问的地址段 [wwwroot] //共享模块名称 path = /var/www/html //源目录路径 comment = www.kgc.cn //描述信息 read only = yes //只读,同步时需改为“no” dont compress = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2 auth users = backuper //授权账户 secrets file = /etc/rsyncd_users.db //存放账户信息的数据文件
2、为备份账户创建数据文件,对需要进行同步备份的账户进行认证,避免信息泄露
[root@localhost ~]# vim /etc/rsyncd_users.db
backuper:abc123   //添加密码,这样发起端发起同步需要此密码认证

[root@localhost ~]# chmod 600 /etc/rsyncd_users.db //赋予读写权限
3、安装httpd服务,后面需要在/var/www/html里添加文件测试
[root@localhost ~]# yum install httpd -y
[root@localhost ~]# ls -ld /var/www/html/
drwxr-xr-x. 2 root root 6 6月 27 21:49 /var/www/html/ [root@localhost ~]# cd /var/www/ [root@localhost www]# ll 总用量 0 drwxr-xr-x. 2 root root 6 6月 27 21:49 cgi-bin drwxr-xr-x. 2 root root 6 6月 27 21:49 html [root@localhost www]# chmod 777 html //赋予最大权限,否则会同步失败 [root@localhost www]# ll 总用量 0 drwxr-xr-x. 2 root root 6 6月 27 21:49 cgi-bin drwxrwxrwx. 2 root root 6 6月 27 21:49 html
4、开启同步源服务
[root@localhost www]# rsync --daemon   //启动rsync服务
[root@localhost www]# netstat -antp |grep rsync
tcp        0      0 192.168.100.129:++873++ 0.0.0.0:* LISTEN 4254/rsync //默认端口:873 重启操作:先kill进程,再到/var/run/rsyncd.pid中删除pid文件,再启动服务完成重启,否则会失败 [root@localhost html]# systemctl stop firewalld.service [root@localhost html]# setenforce 0 //关闭防火墙和网络增强×××
5、在rsync同步源端进行备份操作
[root@localhost www]# cd html/
[root@localhost html]# touch 111.txt
[root@localhost html]# rsync -avz [email protected]::wwwroot /opt/
Password: 
receiving incremental file list
./
111.txt         
[root@localhost html]# cd /opt [root@localhost opt]# ls 111.txt //显示备份成功 

二、配置发起端

1、调整inotify内核参数
vim /etc/sysctl.conf
fs.inotify.max_queued_events = 16384   //监控事件队列
fs.inotify.max_user_instances = 1024  //最多监控实例数
fs.inotify.max_user_watches = 1048576 //最多监控文件数
[root@localhost html]# systemctl stop firewalld.service 
[root@localhost html]# setenforce 0     //关闭防火墙和网络增强×××
2、安装inotify-tools,版本为3.14,需要可找我
[root@localhost abc]# mount.cifs //192.168.100.1/mem /abc
[root@localhost abc]# tar zxvf inotify-tools-3.14.tar.gz -C /opt/
[root@localhost opt]# cd  /opt/inotify-tools-3.14/
[root@localhost inotify-tools-3.14]# ./configure [root@localhost inotify-tools-3.14]# make && make install
3、发起端安装httpd服务
[root@localhost ~]# yum install httpd -y
[root@localhost ~]# ls -ld /var/www/html/
drwxr-xr-x. 2 root root 6 6月 27 21:49 /var/www/html/ [root@localhost www]# chmod 777 html //赋予最大权限,否则会同步失败 [root@localhost www]# ll 总用量 0 drwxr-xr-x. 2 root root 6 6月 27 21:49 cgi-bin drwxrwxrwx. 2 root root 6 6月 27 21:49 html
4、设置同步验证
vim /etc/server.pass
abc123                  //和源端的验证密码需一致
[root@localhost ~]# chmod 600 /etc/server.pass
5、测试同步,到源端修改配置文件
[root@localhost html]# vim /etc/rsyncd.conf 
read only =yes    //这里将yes改为no,赋予写的权限 [root@localhost html]# netstat -antp |grep rsync tcp 0 0 192.168.100.129:873 0.0.0.0:* LISTEN 4254/rsync [root@localhost html]# kill -9 4254 [root@localhost run]# cd /var/run [root@localhost run]# rm -rf rsyncd.pid [root@localhost run]# rsync --daemon [root@localhost run]# netstat -antp |grep rsync tcp 0 0 192.168.100.129:873 0.0.0.0:* 注:修改配置文件后,源端需重启:先kill进程,再到/var/run/rsyncd.pid中删除pid文件
6、在发起端开启监控,前提是同步源已经开启服务
[root@localhost ~]# inotifywait -mrq -e modify,create,move,delete /var/www/html/

(-e:指定监控事件;-m:持续监控;-r;递归整个目录;-q:简化输出信息

7、在发起端编写触发式脚本同步
[root@localhost html]# vim /opt/inotify.sh

#!/bin/bash
INOTIFY_CMD="inotifywait -mrq -e modify,create,attrib,move,delete /var/www/html/"
RSYNC_CMD="rsync -azH --delete --password-file=/etc/server.pass /var/www/html/ [email protected]::wwwroot/"          //同步源的ip
$INOTIFY_CMD | while read DIRECTORY EVENT FILE do if [ $(pgrep rsync | wc -l) -le 0 ] ; then $RSYNC_CMD fi done [root@localhost html]#chmod +x /opt/inotify.sh //赋予执行权限
8、在发起端/var/www/html/目录下添加文件测试
发起端:

[root@localhost html]# touch 1.txt abc.txt
[root@localhost html]# ls
1.txt  abc.txt
[root@localhost html]# rm -rf 1.txt

源端查看:
[root@localhost html]# ls 1.txt abc.txt [root@localhost html]# ls abc.txt //同步成功

猜你喜欢

转载自www.cnblogs.com/duanlinxiao/p/11009031.html