参考 zone7_ 的 实战-MySQL定时备份系列文章
说明
产品上线后，数据非常非常重要，万一哪天数据被误删，那么就gg了，准备跑路吧。
所以要对线上的数据库定时做全量备份和增量备份。
增量备份的优点是没有重复数据，备份量不大，时间短。但缺点也很明显，需要建立在上次完全备份及完全备份之后所有的增量才能恢复。
MySQL没有提供直接的增量备份方法，但是可以通过mysql二进制日志间接实现增量备份。二进制日志对备份的意义如下：
- 二进制日志保存了所有更新或者可能更新数据的操作
- 二进制日志在启动MySQL服务器后开始记录，并在文件达到所设大小或者收到flush logs 命令后重新创建新的日志文件
- 只需定时执行flush logs 方法重新创建新的日志，生成二进制文件序列，并及时把这些文件保存到一个安全的地方，即完成了一个时间段的增量备份。
全量备份
mysqldump --lock-all-tables --flush-logs --master-data=2 -u root -p test > backup_sunday_1_PM.sql--lock-all-tables
对于InnoDB将替换为--single-transaction
--flush-logs
结束当前日志，生成并使用新日志文件
--master-data=2
选项将会在输出SQL中记录下完全备份后新日志文件的名称，用于日后恢复时参考，例如输出的备份SQL文件中含有：CHANGE MASTER TO MASTER_LOG_FILE='MySQL-bin.000002', MASTER_LOG_POS=106;- test
该处的test表示数据库test，如果想要将所有的数据库备份，可以换成参数--all-databases
全量备份脚本shell
#!/bin/bash
# Program
# use mysqldump to Fully backup mysql data per week!
# History
# Path
# 用户名、密码、数据库名
username="root"
password="tencns152"
Begin=`date +"%Y年%m月%d日 %H:%M:%S"`
# 备份目录
BakDir=/home/mysql/backup
# 日志文件
LogFile=/home/mysql/backup/bak.log
# 备份文件
Date=`date +%Y%m%d`
DumpFile="${dbName}_${Date}.sql"
GZDumpFile="${dbName}_${Date}.sql.tgz"
cd $BakDir
# 全量备份
/usr/local/mysql/bin/mysqldump -u${username} -p${password} --quick --events --all-databases --flush-logs --delete-master-logs --single-transaction > $DumpFile
# 打包
/bin/tar -zvcf $GZDumpFile $DumpFile
/bin/rm $DumpFile
Last=`date +"%Y年%m月%d日 %H:%M:%S"`
echo 开始:$Begin 结束:$Last $GZDumpFile succ >> $LogFile
# 删除所有增量备份
cd $BakDir/daily
/bin/rm -f *
增量备份
1. 检查log_bin是否开启
进入mysql命令行，执行 show variables like '%log_bin%'
mysql> show variables like '%log_bin%';
+---------------------------------+-------+
| Variable_name | Value |
+---------------------------------+-------+
| log_bin | OFF |
| log_bin_basename | |
| log_bin_index | |
| log_bin_trust_function_creators | OFF |
| log_bin_use_v1_row_events | OFF |
| sql_log_bin | ON |
+---------------------------------+-------+
6 rows in set (0.01 sec)
如上所示，log_bin 未开启；如果log_bin开启，则跳过第2步，直接进入第3步。
2. 开启 log_bin，并重启mysql
- 编辑 mysql 的配置文件
vim /etc/my.cnf，在 mysqld 下面添加下面2条配置
[mysqld]
log-bin=/var/lib/mysql/mysql-bin
server_id=152Tip1: 一定要加 server_id，否则会报错。至于server_id的值，随便设就可以。
Tip2: log_bin 中间可以下划线_相连，也可以-减号相连。同理server_id也一样。
- 重启mysql
service mysqld restart- 再次在mysql命令行中执行
show variables like '%log_bin%'
mysql> show variables like '%log_bin%';
+---------------------------------+--------------------------------+
| Variable_name | Value |
+---------------------------------+--------------------------------+
| log_bin | ON |
| log_bin_basename | /var/lib/mysql/mysql-bin |
| log_bin_index | /var/lib/mysql/mysql-bin.index |
| log_bin_trust_function_creators | OFF |
| log_bin_use_v1_row_events | OFF |
| sql_log_bin | ON |
+---------------------------------+--------------------------------+
6 rows in set (0.01 sec)
3. 备份
- 进入mysql命令行，执行
show master status;
mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000003 | 430 | | | |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)
当前正在记录日志的文件名是 mysql-bin.000003
- 比如当前数据库test的bk_user只有2条记录
mysql> select * from test.bk_user;
+----+------+------+------+
| id | name | sex | age |
+----+------+------+------+
| 1 | 小明 | 男 | 25 |
| 2 | 小红 | 女 | 21 |
+----+------+------+------+
2 rows in set (0.00 sec)
- 插入一条新的记录
mysql> insert into test.bk_user(name, sex, age) values('小强', '男', 24);
Query OK, 1 row affected (0.02 sec)
mysql> select * from test.bk_user;
+----+------+-----+-----+
| id | name | sex | age |
+----+------+-----+-----+
| 1 | 小明 | 男 | 25 |
| 2 | 小红 | 女 | 21 |
| 5 | 小强 | 男 | 24 |
+----+------+-----+-----+
3 rows in set (0.03 sec)
- 执行命令
mysqladmin -uroot -p密码 flush-logs，生成并使用新的日志文件
再次查看当前使用的日志文件，已经变为 mysql-bin.000004 了。
mysql-bin.000003 则记录着刚才执行的 insert 语句的日志。
mysql> show master status;
+------------------+----------+--------------+------------------+-------------------+
| File | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |
+------------------+----------+--------------+------------------+-------------------+
| mysql-bin.000004 | 154 | | | |
+------------------+----------+--------------+------------------+-------------------+
1 row in set (0.00 sec)
到这里，其实已经完成了增量备份了。
恢复增量备份
- 首先假装误删数据库记录
mysql> delete from test.bk_user where id=4;
Query OK, 1 row affected (0.01 sec)
mysql> select * from test.bk_user;
+----+------+------+------+
| id | name | sex | age |
+----+------+------+------+
| 1 | 小明 | 男 | 25 |
| 2 | 小红 | 女 | 21 |
+----+------+------+------+
2 rows in set (0.00 sec)
- 从备份的日志文件mysql-bin.000003中恢复数据
[root@centos56 ~]# mysqlbinlog --no-defaults /var/lib/mysql/mysql-bin.000003 | mysql -uroot -p test
Enter password:
ERROR 1032 (HY000) at line 36: Can't find record in 'bk_user'
如果你也遇到这个问题的话，不妨修改 /etc/my.cnf 配置试试。
我在server_id那一行下添加了 slave_skip_errors=1032 ，然后就执行成功了，不再报错。
mysql> select * from test.bk_user;
+----+------+------+------+
| id | name | sex | age |
+----+------+------+------+
| 1 | 小明 | 男 | 25 |
| 2 | 小红 | 女 | 21 |
| 5 | 小强 | 男 | 24 |
+----+------+------+------+
3 rows in set (0.00 sec)
至此增量备份就算成功了，需要注意的是：增量备份只是备份了更新(插入、修改、删除)的操作，并不会备份删表、创表这种操作的。
增量备份的shell脚本
#!/bin/bash
# 增量备份时复制mysql-bin.00000*的目标目录，提前手动创建这个目录
BakDir=/home/mysql/backup/daily
# 日志文件
LogFile=/home/mysql/backup/bak.log
# mysql的数据目录
BinDir=/var/lib/mysql-bin
# mysql的index文件路径，放在数据目录下的
BinFile=/var/lib/mysql-bin/mysql-bin.index
# 这个是用于产生新的mysql-bin.00000*文件
/usr/local/mysql/bin/mysqladmin -uroot -ptencns152 flush-logs
Counter=`wc -l $BinFile | awk '{print $1}'`
NextNum=0
# 这个for循环用于比对$Counter,$NextNum这两个值来确定文件是不是存在或最新的
for file in `cat $BinFile`
do
base=`basename $file`
NextNum=`expr $NextNum + 1`
if [ $NextNum -eq $Counter ]
then
echo $base skip! >> $LogFile
else
dest=$BakDir/$base
#test -e用于检测目标文件是否存在，存在就写exist!到$LogFile去
if(test -e $dest)
then
echo $base exist! >> $LogFile
else
cp $BinDir/$base $BakDir
echo $base copying >> $LogFile
fi
fi
done
echo `date +"%Y年%m月%d日 %H:%M:%S"` $Next Bakup succ! >> $LogFile
定时备份
执行命令 crontab -e，添加如下配置
# 每个星期日凌晨3:00执行完全备份脚本
0 3 * * 0 /bin/bash -x /root/bash/Mysql-FullyBak.sh >/dev/null 2>&1
# 周一到周六凌晨3:00做增量备份
0 3 * * 1-6 /bin/bash -x /root/bash/Mysql-DailyBak.sh >/dev/null 2>&1
遇到的问题
- Can't connect to local MySQL server through socket '/tmp/mysql.sock'
mysqladmin: connect to server at 'localhost' failed
error: 'Can't connect to local MySQL server through socket '/tmp/mysql.sock' (2)'
Check that mysqld is running and that the socket: '/tmp/mysql.sock' exists去修改mysql的配置文件，添加
[mysqladmin]
# 修改为相应的sock
socket=/var/lib/mysql/mysql.sock- 执行mysqldump时遇到
Unknown table 'column_statistics' in information_schema (1109)
[root@centos56 bash]# /usr/local/mysql/bin/mysqldump -uroot -ptencns152 --quick --events --all-databases --flush-logs --delete-master-logs --single-transaction > /home/mysql/backup/1.sql
mysqldump: [Warning] Using a password on the command line interface can be insecure.
mysqldump: Couldn't execute 'SELECT COLUMN_NAME, JSON_EXTRACT(HISTOGRAM, '$."number-of-buckets-specified"') FROM information_schema.COLUMN_STATISTICS WHERE SCHEMA_NAME = 'atd' AND TABLE_NAME = 'box_info';': Unknown table 'column_statistics' in information_schema (1109)如果使用MySQL 8.0+版本提供的命令行工具mysqldump来导出低于8.0版本的MySQL数据库到SQL文件，会出现Unknown table 'column_statistics' in information_schema的错误，因为早期版本的MySQL数据库的information_schema数据库中没有名为COLUMN_STATISTICS的数据表。
解决问题的方法是，使用8.0以前版本MySQL附带的mysqldump工具，最好使用待备份的MySQL服务器版本对应版本号的mysqldump工具，mysqldump可以独立运行，并不依赖完整的MySQL安装包，比如在Windows中，可以直接从MySQL安装目录的bin目录中将mysqldump.exe复制到其他文件夹，甚至从一台电脑复制到另一台电脑，然后在CMD窗口中运行。
当前使用是的MySQL 5.7.22。把5.7.20的 MYSQL_HOME/bin/mysqldump 替换掉 5.7.22的，接着就能顺利执行mysqldump了，也真是奇了怪了。