目录
一、概述
1、关于rsync
rsync远程同步：是开源的快速备份工具。可以在不同主机之间同步整个目录
在远程同步任务重，一个是源端，还有一个是发起端（客户端）
源端负责文件的原始位置，发起端和源端的文件同步
2、rsync的特点：
拷贝文件，链接文件，设备
可以保持源文件或者目录的权限不变（时间、软硬连接、所有者、所在组等均可以保持不变）
可以实现增量同步。只同步发生变化的数据，数据传输效率很高
支持匿名认证。
3、备份方式：
完整备份，第一次同步都是完整的备份
往后的同步，都是增量备份（差异备份）。只同步变化的数据
4、同步方式：
下行同步：
从源端同步到客户端
上行同步：
从客户端同步到源端
二、rsync相关命令
1、rsync常用命令的选项：
rsync -r：递归模式，目录包含子目录里面的所有文件
rsync -l：复制链接文件，软链接
rsync -v：显示同步过程中的详细信息
rsync -z：传输文件时进行压缩
rsync -a：归档模式，可以保留文件的权限、属性等等
rsync -p：保留文件的权限标记（所有者和所在组）
rsync -t：保留时间标记（时间戳）
rsync -g：保留文件的所在组（管理员）
rsync -o：保留文件的所有者（管理员）
rsync -H：保留硬链接
rsync -D：保留设备文件和其他特殊文件
rsync --delete：删除目标位置有，但是原始文件没有的文件（相同的数据不作操作）
2、启动和关闭rsync服务：
启动 rsync 服务，以独立监听服务的方式（守护进程）运行
rsync --daemon
3、关闭 rsync 服务
kill $(cat /var/run/rsyncd.pid)
rm -rf /var/run/rsyncd.pid
三、 免交互：
1、免密同步：
echo "123456" > /etc/server.pass
chmod 600 /etc/server.pass
rsync -avz --password-file=/etc/server.pass [email protected]::test /opt/
2、定期同步：
举个例子
crontab -e
30 22 * * * /usr/bin/rsync -az --delete --password-file=/etc/server.pass [email protected]::wwwroot /opt/
为了在同步过程中不用输入密码，需要创建一个密码文件，保存 backuper 用户的密码，如 /etc/server.pass。
#在执行 rsync 同步时使用选项 “--password-file=/etc/server.pass” 指定即可。
systemctl restart crond
systemctl enable crond
四、inotify工具：
1、发送端安装inotify工具：
tar zxvf inotify-tools-3.14.tar.gz -C /opt/
cd /opt/inotify-tools-3.14
./configure
make -j2 && make install
2、inotify 内核参数
在Linux内核中，默认的inotify机制提供了三个调控参数
1）max_queue_events（监控事件队列，默认值为16384）
2）max_user_instances（最多监控实例数，默认值为128）
3）max_user_watches（每个实例最多监控文件数，默认值为8192）
当要监控的目录、文件数量较多或者变化较频繁时，建议加大这三个参数的值。
cat /proc/sys/fs/inotify/max_queued_events
cat /proc/sys/fs/inotify/max_user_instances
cat /proc/sys/fs/inotify/max_user_watches
3、设置监控实例和实例文件修改：
vim /etc/sysctl.conf
fs.inotify.max_queued_events = 16384
fs.inotify.max_user_instances = 1024
fs.inotify.max_user_watches = 1048576
rsync同步速度很快，适合同步大文件，可以结合数据库同步使用
inotify：通知接口，可以用来监控文件系统的各种变化情况，文件存取，删除移动修改，都可以被监控
inotify机制和rsync配置在一块使用。既可以通知变化，也可以实现同步。
只监控，同步是rsync
4、inotify命令：
inotifywait -mrq -e modify,create,move,delete /opt/test/
-m：持续监控
-r：递归整个目录
-q：信息提示
-e：指定监控的事件，多个事件用逗号隔开
五、实验：
架构：
test1 源端 20.0.0.21
test2 发起端（客户端） 20.0.0.22
关防火墙安全机制
systemctl stop firewalld
setenforce 0
查看安装情况：
rpm -q rsync
rsync是linux自带的软件
rpm -qc rsync
1、下行同步：
下行同步的格式：
rsync [选项] 源服务器位置 本地位置
举个例子
格式一：
rsync -avz [email protected]::message /opt/
格式二：
rsync -avz rsync://[email protected]/message /opt/
test为配置文件中的授权账户
IP地址为同步源地址
message 为配置文件中定义的共享模块
配置源端rsync：
改配置文件：
vim /etc/rsyncd.conf #添加以下配置项
uid = root
gid = root
use chroot = yes #禁锢在源目录
address = 20.0.0.21 #监听地址
port = 873
#监听端口 tcp/udp 873，可通过cat /etc/services | grep rsync查看
log file = /var/log/rsyncd.log #日志文件位置
pid file = /var/run/rsyncd.pid #存放进程 ID 的文件位置
hosts allow = 20.0.0.0/24 #允许访问的客户机地址
dont compress = *.gz *.bz2 *.tgz *.zip *.rar *.z #同步时不再压缩的文件类型
[test] #共享模块名称
path = /opt/test #源目录的实际路径
comment = test
write only = yes #是否为只读
auth users = backuper #授权账户，多个账号以空格分隔
secrets file = /etc/rsyncd_users.db #存放账户信息的数据文件
#如采用匿名的方式，只要将其中的“auth users”和“secrets file”配置项去掉即可。
#为备份账户创建数据文件
给授权账户添加密码
vim /etc/rsyncd_users.db
backuper:123456 #无须建立同名系统用户
设置只有文件的所有者可以读取和修改密码文件
chmod 600 /etc/rsyncd_users.db
保证所有用户对源目录/data都有读取权限
mkdir /opt/test
chmod 777 /opt/test
启动 rsync 服务，以独立监听服务的方式（守护进程）运行
rsync --daemon
观察是否启动成功
ss -napt | grep rsync
服务端同步数据到客户端:
rsync -avz [email protected]::test /opt
-avz：保留文件权限 v显示详细过程 z同步过程中对文件进行压缩
20.0.0.21::test
往后的同步都是增量同步，只有新增的才会同步
rsync -avz [email protected]::test /opt
2、上行同步：
将发起端（客户端）修改，更新到源端
还是在客户端执行命令：
rsync -azH --delete --password-file=/etc/server.pass /opt/data [email protected]::test/
将监控和同步一起执行
脚本：
vim inotify.sh
#!/bin/bash
CMD="inotifywait -mrq -e modify,create,move,delete /opt/data"
rsync_cmd="rsync -azH --delete --password-file=/etc/server.pass /opt/data [email protected]::test/"
$CMD | while read DIRECTORY EVENT FILE
do
if [ $(pgrep rsync | wc -l) -gt 0 ]
then
$reync_cmd
fi
done
也可以设置定时任务
3、使用rsync快速删除大量文件
在文件数量较多的情况下，比如百万和千万级别的文件，rm -rf *速度很慢
rsync 可以实现大量删除
此时，利用rsync的替换原理，结合--delete选项，可以实现快速删除大量文件，比如服务的缓存
现在主机模拟生成大量垃圾文件：
mkdir test1
cd test1/
touch {1..9999}.txt
touch demo.txt
#demo.txt用作测试
再创建一个空文件
mkdir test2
cd test2
touch demo.txt
进行同步删除
rsync --delete-before -avH --progress --stats /opt/test2/ /opt/test1
--delete-before：在传输的过程中进行删除
-a：归档模式
-H：硬链接
-v：输出信息
--progress：显示传输的过程
--stats：给出文件的传输状态
