MySQL 데이터베이스 로그 관리, 백업 및 복구
기사 디렉토리
준비 : 먼저 데이터베이스 및 테이블 만들기
mysql -u root -p
create database SCHOOL;
use SCHOOL;
create table class (id int(10) not null,name varchar(10) not null,cardid varchar(18),phone varchar(11),address varchar(50));
desc class;
insert into class values (1,'zhangsan','12','111111','nanjing');
insert into class values (4,'lisi','123','444444','suzhou');
insert into class values (2,'wangwu','1234','222222','beijing');
insert into class values (5,'zhaoliu','12345','555555','nanjing');
insert into class values (3,'qianqi','123456','333333','shanghai');
select * from class;
데이터 삽입 및 테이블 구조보기
하나, MySQL 로그 관리
MySQL 로그의 기본 저장 위치는 / usr / local / mysql / data입니다.
1.1 MySQL 로그 분류
- 오류 기록
- 일반 쿼리 로그
- 바이너리 로그
- 느린 쿼리 로그
1.2 MySQL 로그가 켜져 있습니다.
- MySQL 구성 파일을 영구적으로 복구하여
vim /etc/my.cnf
[mysqld]
##错误日志,用来记录当MySQL启动、停止或运行时发生的错误信息,默认已开启
#指定错误日志的保存位置和文件名
log-error=/usr/local/mysql/data/mysql_error.log
##通用查询日志,用来记录MySQL的所有连接和语句,默认是关闭的
general_log=ON
general_log_file=/usr/local/mysql/data/mysql_general.log
##二进制日志(binlog),用来记录所有更新了数据或者已经潜在更新了数据的语句,记录了数据的更改,可用于数据恢复,默认已开启
log-bin=mysql-bin
#也可以 log_bin=mysql-bin
##慢查询日志,用来记录所有执行时间超过long_query_time秒的语句,可以找到哪些查询语句执行时间长,以便于优化,默认是关闭的
slow_query_log=ON
slow_query_log_file=/usr/local/mysql/data/mysql_slow_query.log
long_query_time=5 #设置超过5秒执行的语句被记录,缺省时为10秒
systemctl restart mysqld.service
1.3 데이터베이스를 입력하여 해당 로그가 활성화되었는지 확인합니다.
1) 일반 쿼리 로그 활성화 여부 확인
mysql -u root -p
show variables like 'general%';
2) 바이너리 로그가 켜져 있는지 확인
show variables like 'log_bin%';
3) 느린 쿼리 로그 관련 기능보기
(1) 느린 쿼리 로그 기능 활성화 여부 확인
show variables like '%slow%';
(2) 느린 쿼리 시간 설정보기
show variables like 'long_query_time';
(3) 데이터베이스에서 느린 쿼리를 시작하는 방법 설정-
이전에 구성되었으며 시연되지 않습니다.
set global slow_query_log=ON;
둘째, MySQL 전체 백업 및 복구
2.1 데이터 백업의 중요성
- 백업의 주요 목적은 재해 복구입니다.
- 프로덕션 환경에서 데이터 보안은 가장 중요합니다.
- 데이터 손실은 심각한 결과를 초래할 수 있습니다.
2.2 데이터 손실의 원인
- 프로그램 오류
- 인간의 실수
- 작동 오류
- 디스크 오류
- 재난 (화재, 지진 등) 및 도난
2.3 데이터베이스 백업 분류
1) 물리학과 논리의 관점에서 분류
(1) 물리적 백업
- 데이터베이스 운영 체제의 실제 파일 (예 : 데이터 파일, 로그 파일 등) 백업
- 물리적 백업 방법
- 콜드 백업 (오프라인 백업) : 데이터베이스가 닫혀있을 때 수행됩니다.
- 핫 백업 (온라인 백업) : 데이터베이스가 실행 중이며 데이터베이스의 로그 파일에 따라 다릅니다.
- 웜 백업 : 테이블이 잠겨있을 때 데이터베이스가 백업됩니다 (쓰기 불가능하지만 읽을 수 있음).
(2) 논리 백업
- 데이터베이스 논리 구성 요소 (예 : 테이블과 같은 데이터베이스 개체) 백업
2) 데이터베이스 백업 전략의 관점에서 분류
(1) 전체 백업
- 매번 데이터베이스의 완전한 백업을 만드십시오.
(2) 차등 백업
- 마지막 전체 백업 이후 수정 된 파일 백업
(3) 증분 백업
- 마지막 전체 백업 또는 증분 백업 후에 수정 된 파일 만 백업됩니다.
2.4 일반적인 백업 방법
1) 물리적 콜드 대기
- 백업 중에 데이터베이스가 닫히고 데이터베이스 파일이 직접 패키징됩니다.
- 백업 속도가 빠르며 복구도 가장 쉽습니다.
2) 전용 백업 도구 mydump 또는 mysqlhotcopy
- mysqldump에 일반적으로 사용되는 논리적 백업 도구
- mysqlhotcopy에는 백업 MyISAM 및 ARCHIVE 테이블 만 있습니다.
3) 증분 백업을위한 바이너리 로그 활성화
- 증분 백업의 경우 바이너리 로그를 새로 고쳐야합니다.
4) 타사 도구 백업
- 무료 MySQL 핫 백업 소프트웨어 Percona XtraBackup
2.5 MySQL 전체 백업
1) 개념
- 전체 데이터베이스, 데이터베이스 구조 및 파일 구조의 백업입니다.
- 저장되는 것은 백업이 완료된 시점의 데이터베이스입니다.
- 차등 백업 및 증분 백업의 기초입니다.
2) 전체 백업의 장단점
-
이점:
간단하고 편리한 백업 및 복구 작업
-
단점 :
데이터 중복이 많습니다.
많은 백업 공간을 차지합니다.
긴 백업 및 복원 시간
3) 데이터베이스 전체 백업 분류
(1) 물리적 콜드 백업 및 복구
- MySQL 데이터베이스 종료
- tar 명령을 사용하여 데이터베이스 폴더를 직접 패키징합니다.
- 기존 MySQL 디렉토리를 간단히 교체하십시오.
(2) mysqldump 백업 및 복구
- MySQL의 자체 백업 도구는 MySQL의 백업을 쉽게 실현할 수 있습니다.
- 지정된 라이브러리 및 테이블을 SQL 스크립트로 내보낼 수 있습니다.
- mysql 명령을 사용하여 백업 데이터를 가져옵니다.
3. 콜드 데이터베이스 백업 및 복구와 전체 백업 및 복구를위한 기본 명령
3.1 물리적 콜드 백업 및 복구
systemctl stop mysqld
yum -y install xz #xz是一个压缩工具
#压缩备份
tar Jcvf /opt/mysql_all_$(date +%F).tar.xz /usr/local/mysql/data/
#解压恢复
tar Jxvf /opt/mysql_all_2021-02-05.tar.xz -C /usr/local/mysql/data
systemctl start mysqld
3.2 mysqldump 백업 및 복구
1) 하나 이상의 전체 라이브러리 (모든 테이블 포함)의 전체 백업
#导出的备份文件就是数据库脚本文件
mysqldump -u root -p[密码] --databases 库名1 [库名2] … > /备份路径/备份文件名.sql
例:
mysqldump -u root -p --databases school > /opt/school.sql
mysqldump -u root -p --databases mysql school > /opt/mysql-school.sql
2) MySQL 서버의 모든 라이브러리 전체 백업
mysqldump -u root -p[密码] --all-databases > /备份路径/备份文件名.sql
例:
mysqldump -u root -p --all-databases > /opt/all.sql
3) 지정된 라이브러리의 일부 테이블 전체 백업
mysqldump -u root -p[密码] [-d] 库名 [表名1] [表名2] … > /备份路径/备份文件名.sql
#使用“ -d ”选项,说明只保存数据库的表结构
#不使用“ -d ”选项,说明表数据也进行备份
例:
mysqldump -u root -p school class > /opt/school_class.sql
4) 백업 파일보기
cat /opt/备份的文件 |grep -v "^--" | grep -v "^/" | grep -v "^$"
例:
cat /opt/school_class.sql |grep -v "^--" | grep -v "^/" | grep -v "^$"
3.3 MySQL 전체 복구
1) 데이터베이스 복원
#“-e”选项,用于指定连接 MySQL 后执行的命令,命令执行完后自动退出
mysql -u root -p -e 'drop database school;'
mysql -u root -p -e 'show databases;'
mysql -u root -p < /opt/school.sql
mysql -u root -p -e 'show databases;'
2) 데이터 테이블 복원
참고 : 백업 파일에 테이블의 백업 만 포함되고 생성 된 라이브러리의 문이 포함되지 않은 경우 가져 오기 작업을 수행 할 때 라이브러리 이름을 지정해야하며 대상 라이브러리가 있어야합니다.
mysql -u root -p -e 'drop table school.class;'
mysql -u root -p -e 'show tables from school;'
mysql -u root -p school < /opt/school_class.sql
mysql -u root -p -e 'show tables from school;'
네, MySQL 증분 백업 및 복구 방법
4.1 MySQL 증분 백업
1) 바이너리 로그 기능 켜기
vim /etc/my.cnf
[mysqld]
log-bin=mysql-bin
server-id = 1
binlog_format = MIXED #指定二进制日志(binlog)的记录格式为 MIXED
#二进制日志(binlog)有3种不同的记录格式:STATEMENT(基于SQL语句)、ROW(基于行)、MIXED(混合模式),默认格式是STATEMENT
systemctl restart mysqld.service
ls -l /usr/local/mysql/data/mysql-bin.*
2) 매주 데이터베이스 또는 테이블의 전체 백업을 수행 할 수 있습니다.
#手动执行备份
mysqldump -u root -p school class > /opt/school_class_$(date +%F).sql
mysqldump -u root -p --all-databases > /opt/allmysql_$(date +%F).sql
#使用crontab -e 计划性任务来执行;每周1凌晨2点对表class和所有的库进行备份
0 2 * * 1 mysqldump -u root -p school class > /opt/school_class_$(date +%F).sql
0 2 * * 1 mysqldump -u root -p --all-databases > /opt/allmysql_$(date +%F).sql
참고 : 이러한 종류의 타이밍 작업은 crontab -e 예약 된 작업과 함께 실행할 수 있습니다.
3) 매일 증분 백업 작업을 수행하여 새 바이너리 로그 파일을 생성 할 수 있습니다.
mysqladmin -u root -p flush-logs
4) 데이터 증가 또는 변경을 시뮬레이션하기 위해 새 데이터 삽입
mysql -u root -p
use school;
insert into class values ('6','qqq','223366','666666','nanjing');
insert into class values ('7','www','666555','777777','changzhou');
5) 새 바이너리 로그 파일을 다시 생성하십시오.
mysqladmin -u root -p flush-logs
#之前的步骤4的数据库操作会保存到mysql-bin.000002文件中,之后数据库数据再发生变化则保存在mysql-bin.000003文件中
6) 바이너리 로그 파일의 내용보기
cp /usr/local/mysql/data/mysql-bin.000002 /opt/
mysqlbinlog --no-defaults --base64-output=decode-rows -v /opt/mysql-bin.000002
#--base64-output=decode-rows:使用64位编码机制去解码并按行读取
#-v:显示详细内容
4.2 MySQL 증분 복구
1) 일반 회복
(1) 손실 및 변경된 데이터의 복구 단계 시뮬레이션
mysql -u root -p
use school;
delete from class where id=6;
delete from class where id=7;
select * from class;
quit
mysqlbinlog --no-defaults /opt/mysql-bin.000002 | mysql -u root -p
mysql -u root -p -e "select * from school.class;"
(2) 모든 손실 된 데이터의 복구 단계 시뮬레이션
mysql -u root -p
use school;
drop table class;
show tables;
quit
mysql -uroot -p school < /opt/school_class_2021-02-24.sql
mysqlbinlog --no-defaults /opt/mysql-bin.000002 | mysql -uroot -p
mysql -u root -p -e "select * from school.class;"
2) 중단 점 복구
mysqlbinlog --no-defaults --base64-output=decode-rows -v /opt/mysql-bin.000002
#部分二进制文件的内容
......
BEGIN
/*!*/;
##-------------解释:at xxx 表示位置点------------------------------------------------
# at 302
##--------------解释:开头210224 15:45:53表示时间,其他的现在用不到-----------------------------------
#210224 15:45:53 server id 1 end_log_pos 449 CRC32 0xe972def7 Query thread_id=6 exec_time=0 error_code=0
##--------------解释:这里是执行的操作语句---------------------
use `school`/*!*/; <-------------use school;使用数据库
SET TIMESTAMP=1612597553/*!*/; <------------建立时间戳
insert into class values ('6','qqq','223366','666666','nanjing') <-------向表中插入数据
/*!*/;
##---------------------------------------------------------------
# at 449
#210224 15:45:53 server id 1 end_log_pos 480 CRC32 0x5efde826 Xid = 446
COMMIT/*!*/;
# at 480
#210224 15:45:54 server id 1 end_log_pos 545 CRC32 0x11768895 Anonymous_GTID last_committed=1 sequence_number=2 rbr_only=no
SET @@SESSION.GTID_NEXT= 'ANONYMOUS'/*!*/;
# at 545
#210224 15:45:54 server id 1 end_log_pos 628 CRC32 0x778ea5fa Query thread_id=6 exec_time=0 error_code=0
SET TIMESTAMP=1612597554/*!*/;
##-------------------------------插入第二个数据--------------------------
BEGIN
/*!*/;
# at 628
#210206 15:45:54 server id 1 end_log_pos 775 CRC32 0x66e3bb53 Query thread_id=6 exec_time=0 error_code=0
SET TIMESTAMP=1612597554/*!*/;
insert into class values ('7','www','666555','777777','changzhou')
/*!*/;
# at 775
#210224 15:45:54 server id 1 end_log_pos 806 CRC32 0x7b972395 Xid = 447
COMMIT/*!*/;
# at 806
#210224 15:48:52 server id 1 end_log_pos 853 CRC32 0x0d77c456 Rotate to mysql-bin.000003 pos: 4
SET @@SESSION.GTID_NEXT= 'AUTOMATIC' /* added by mysqlbinlog */ /*!*/;
DELIMITER ;
.......
(1) 위치 기반 복원
위치 "628"이전의 데이터로만 복원합니다. 즉, "id = 7"의 데이터는 복원하지 않습니다.
#模拟数据丢失
mysql -uroot -p123456 school < /opt/school_class_2021-02-24.sql
mysql -uroot -p123456 -e "select * from school.class;"
#到位置点628停止恢复数据
mysqlbinlog --no-defaults --stop-position='628' /opt/mysql-bin.000002 | mysql -uroot -p123456
#查看class表的数据
mysql -uroot -p123456 -e "select * from school.class;"
"id = 7"의 데이터 만 복원하고 "id = 6"의 데이터는 건너 뜁니다.
#模拟数据丢失
mysql -uroot -p123456 school < /opt/school_class_2021-02-24.sql
mysql -uroot -p123456 -e "select * from school.class;"
#从位置点628开始恢复数据
mysqlbinlog --no-defaults --start-position='628' /opt/mysql-bin.000002 | mysql -uroot -p123456
#查看class表的数据
mysql -uroot -p123456 -e "select * from school.class;"
(2) 시점 기반 복구
210224 15:45:54 이전에만 데이터를 복원하십시오. 즉, "id = 7"인 데이터는 복원하지 마십시오.
#模拟数据丢失
mysql -uroot -p123456 school < /opt/school_class_2021-02-24.sql
mysql -uroot -p123456 -e "select * from school.class;"
#到2021-02-24 15:45:54截止恢复数据
mysqlbinlog --no-defaults --stop-datetime='2021-02-24 15:45:54' /opt/mysql-bin.000002 | mysql -uroot -p123456
#查看class表的数据
mysql -uroot -p123456 -e "select * from school.class;"
"id = 7"의 데이터 만 복원하고 "id = 6"의 데이터 복원은 건너 뜁니다.
#模拟数据丢失
mysql -uroot -p123456 school < /opt/school_class_2021-02-24.sql
mysql -uroot -p123456 -e "select * from school.class;"
#从2021-02-24 15:45:54开始恢复数据
mysqlbinlog --no-defaults--start-datetime='2021-02-24 15:45:54' /opt/mysql-bin.000002 | mysql -uroot -p123456
#查看class表的数据
mysql -uroot -p123456 -e "select * from school.class;"
요약 :
특정 SQL 문 이전의 모든 데이터 를 복원하기 위해 중단 점에서 복원 하는 경우 명령문의 위치 노드 또는 시점에서 중지합니다.
특정 SQ 문과 그 이후의 모든 데이터를 복원하는 경우 위치 노드에서 시작합니다. 또는 진술의 시점
mysqlbinlog --no-defaults --start-position='449' --stop-position='806' /opt/mysql-bin.000002 | mysql -uroot -p #恢复位置从449到806之间的数据