1.Rsync基本概述
1)概念 rsync：remote sync 2)开源 3)备份 4)https://rsync.samba.org/ samba服务器：文件共享,cifs,common internet file system 5)端口号: TCP 873 6)运行模式： C/S：客户端、服务端模式 B/S：浏览器、服务端模式 7)常见备份方式 完全备份：对所有数据做一次全备份 增量备份：只备份离上次备份变化的数据***** 差异备份：备份是上一次 完全备份后变化的数据 常见的备份组合 完全+增量：1次完全+多次增量 完全+差异：1次完全+1次差异
2.Rsync应用场景
数据同步的方式
推：push,上传(upload)
将客户端的数据上传到rsync服务器(backup服务器)
拉：pull,下载(download)
将rsync服务器(backup服务器)的数据下载到客户端
推拉是由客户端发起的
3.Rsync传输模式
Rsync大致使用三种主要的数据传输方式
Rsync命令对应选项 -a #归档模式传输,等于-tropD1 -v #详细模式输出,打印速率,文件数量等 -z #传输时进行压缩以提高效率 -r #递归传输目录及子目录,即目录下得所有目录都同样传输。 -t #保持文件时间信息 -o #保持文件属主信息 -p #保持文件权限 -g #保持文件属组信息 -l #保留软连接 -P #显示同步的过程及传输时的进度等信息 -D #保持设备文件信息 -L #保留软连接指向的目标文件 -e #使用的信道协议,指定替代rsh的shell程序 --exclude=PATTERN #指定排除不需要传输的文件模式 --exclude-from=file #文件名所在的目录文件 --bwlimit=100 #限速传输 --partial #断点续传 --delete #让目标目录和源目录数据保持一致
本地方式
rsync [OPTION]... SRC [SRC]... DEST 类似cp命令 //文件同步 [root@backup ~]# ll /data/ 总用量 4 -rw-r--r-- 1 root root 798 1月 18 10:47 passwd [root@backup ~]# rsync -avz /etc/fstab /data/ sending incremental file list fstab //目录同步1： [root@backup ~]# rsync -avz /data/ /opt/ sending incremental file list ./ fstab passwd //目录同步2： [root@backup ~]# rsync -avz /data /opt/ sending incremental file list data/ data/fstab data/passwd
总结：如果要同步到是目录里面的内容,命令中目录的后面必须加"/"
如果要同步的是目录本身及其内容，则命令中只需要写目录名
完全同步：加--delete,源和目标内容完全一致
[root@backup ~]# rsync -avz --delete /null/ /opt/ #慎用
三种备份方式概念如下图：
远程方式
Access via remote shell： 远程通道传输 Pull：rsync [OPTION]... [USER@]HOST:SRC [DEST] Push：rsync [OPTION]... SRC [SRC]... [USER@]HOST:DEST 使用的ssh协议,过程是加密,类似scp命令(secure cp) tcp传输过程,每传输一个数据都会有连接的建立、维护、断开过程。 [root@backup ~]# rsync -avz /etc/hosts root@172.16.1.41:/etc/ [root@backup ~]# rsync -avz root@172.16.1.41:/root/hello.txt 问题： 1.用户权限问题 [root@nfs ~]# rsync -avz oldboy@172.16.1.51:/root/hello.txt . receiving incremental file list rsync: change_dir "/root" failed: Permission denied (13) 2.用户身份暴露了,安全隐患 3.文件路径暴露了,安全隐患
守护进程 *****
rsync自身非常重要的功能(不使用系统用户,更加安全)
服务端的配置过程：
1.安装软件包 yum install -y rsync 2.修改配置文件 1)查找配置文件 [root@backup ~]# rpm -qc rsync /etc/rsyncd.conf /etc/sysconfig/rsyncd [root@backup ~]# rpm -ql rsync | grep /etc/ /etc/rsyncd.conf /etc/sysconfig/rsyncd 2)修改配置文件 #全局模块 uid=rsync --- 运行进程的用户 gid=rsync --- 运行进程的用户组 port=873 --- 监听端口 fake super=yes --- 无需让rsync以root身份运行,允许存储文件的完整属性(3.1版本之后) use chroot=no --- 关闭假根功能 max connection=200 --- 最大连接数 timeout=600 --- 超时时间 ignore errors --- 忽略错误信息 read only=false --- 对备份数据可读写 list = false --- 不允许查看模块信息 auth users=rsync_backup --- 定义虚拟用户,作为连接认证用户 secrets file=/etc/rsync.passwd ---定义rsync服务用户连接认证密码文件路径 log file=/var/log/rsyncd.log #局部模块 [backup] --- 定义模块信息 comment = commit --- 模块注释信息 path = /backup --- 定义接受备份数据目录 3.创建程序用户 useradd -M -s /sbin/nologin rsync 4.创建目录，并修改所属 mkdir /backup chown -R rsync.rsync /backup/ 5.创建虚拟用户认证文件 echo "rsync_backup:1" >/etc/rsync.passwd chmod 600 /etc/rsync.passwd 6.启动服务 systemctl start rsyncd systemctl enable rsyncd 注意： 一定要查看是否启动成功
[root@backup ~]# systemctl status rsyncd ● rsyncd.service - fast remote file copy program daemon Loaded: loaded (/usr/lib/systemd/system/rsyncd.service; enabled; vendor preset: disabled) Active: active (running) since 六 2020-01-18 20:25:08 CST; 1min 35s ago Main PID: 2115 (rsync) CGroup: /system.slice/rsyncd.service └─2115 /usr/bin/rsync --daemon --no-detach [root@backup ~]# lsof -i:873 COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME rsync 2115 root 3u IPv4 24986 0t0 TCP *:rsync (LISTEN) rsync 2115 root 5u IPv6 24987 0t0 TCP *:rsync (LISTEN) [root@backup ~]# ss -antp | grep rsync LISTEN 0 5 *:873 *:* users:(("rsync",pid=2115,fd=3)) LISTEN 0 5 [::]:873 [::]:* users:(("rsync",pid=2115,fd=5)) [root@backup ~]# netstat -antp | grep rsync tcp 0 0 0.0.0.0:873 0.0.0.0:* LISTEN 2115/rsync tcp6 0 0 :::873 :::* LISTEN 2115/rsync
客户端验证过程
1.安装rsync包 yum install -y rsync 2.验证 Pull：rsync [OPTION]... [USER@]HOST::SRC [DEST] Push：rsync [OPTION]... SRC [SRC]... [USER@]HOST::DEST 1)推：上传 客户端推送/etc/下的所有内容至Rsync服务器 2)[root@nfs ~]# rsync -avz /etc/ rsync_backup@172.16.1.51::backup 拉：下载 在客户端创建下拉文件 [root@backup ~]#cp /var/log/messages /var/log/secure /etc/fstab /backup/ 客户端从服务端将backup模块下的内容拉到本地 [root@nfs ~]# rsync -avz rsync_backup@172.16.1.51::backup /opt/ 3.免密 方法一：在客户端上创建密码文件,并给600的权限 echo "1" >/etc/rsync.passwd && chmod 600 /etc/rsync.passwd [root@nfs ~]# rsync -avz rsync_backup@172.16.1.51::backup /opt/ --password-file=/etc/rsync.passwd 方法二：定义变量 [root@nfs ~]# export RSYNC_PASSWORD=1 [root@nfs ~]# rsync -avz rsync_backup@172.16.1.51::backup /opt/
4.Rsync服务实践
排除注意：
1.如果服务端密码文件没有修改权限为600， [root@nfs ~]# rsync -avz /etc/ rsync_backup@172.16.1.51::backup @ERROR: auth failed on module backup rsync error: error starting client-server protocol (code 5) at main.c(1648) [sender=3.1.2] 可以通过查找/var/log/messages Jan 18 20:46:28 backup rsyncd[2383]: secrets file must not be other-accessible (see strict modes option) 表示权限的问题： 解决方法：chmod 600 /etc/rsync.passwd 2.需要考虑服务端下拉的文件权限，主要是由于读权限 [root@nfs ~]# rsync -avz rsync_backup@172.16.1.51::backup /opt/ Password: receiving incremental file list rsync: failed to read xattr user.rsync.%stat for "messages" (in backup): Permission denied (13) rsync: failed to read xattr user.rsync.%stat for "secure" (in backup): Permission denied (13) ./ rsync: send_files failed to open "messages" (in backup): Permission denied (13) rsync: send_files failed to open "secure" (in backup): Permission denied (13)