一、MySQL主从复制

基本原理

在这里插入图片描述

复制的三步骤

master将改变记录到二进制日志。这些记录过程叫做二进制日志事件,binary log events
slave将master的binary log events拷贝到它的中继日志
slave重做中继日志中的事件,将改变应用到自己的数据库中。MySQL复制是异步的且串行的

复制的基本原则

1.每个slave只有一个master
每个slave只能有一个唯一的服务器ID
每个master可以有多个salve

一主一从常见配置

MySQL版本一致且后台服务可以运行
主从主机可以相互通信
主从配置都在[mysqld]结点下,都是小写

主机配置文件-my.ini

server-id = 1       # [必须]主服务器唯一ID
log-bin = 自己本地的路径/mysqlbin   # [必须]启用二进制日志
log-err = 自己本地的路径/mysqlerr   # [可选] 启用错误日志

从机配置文件-mysqld.cnf     /etc/mysql/mysql.conf.d/mysqld.cnf
server-id = 1       # [必须]主服务器唯一ID
log-bin = 自己本地的路径/mysqlbin   # [可选]启用二进制日志

修改过配置文件之后,要重启MySQL服务

service mysql restart

主从都关闭防火墙

service iptables stop

在Windows主机上建立账户并授权slave

grant replication slave on *.* to 'zhangsan'@'从机数据库IP' identified by '123456';


show master status;

记录下File和position的值

配置Linux从机

change master to master_host = '192.168.0.161',
master_user = 'juran',
master_password = '123',
master_log_file = 'binlog.000004',
master_log_pos= 908;

测试是否配置成功

start slave;                 启动从服务器复制功能

show slave status\G 

下面两个参数都是yes,则说明主从配置成功

slave_io_running:yes   

slave_sql_running:yes

二、MySQL分区表

2.1 分区表的特点

在逻辑上为一个表,在物理上存储在多个文件中

create table `login_log`(
    login_id int(10) unsigned not null comment '登录用户id',
    login_time timestamp not null default current_timestamp,
    login_ip int(10) unsigned not null comment '登录类型'
)engine=innodb default charset=utf8 partition by hash(login_id) partitions 4;

2.2 分区键

分区引入了分区键的概念,分区键用于根据某个区间值、特定值、或者HASH函数值执行数据的聚集,让数据根据规则分布在不同的分区中。

2.3 分区类型

RANGE分区
LIST分区
HASH分区

无论那种分区类型,要么分区表上没有主键/唯一键,要么分区表的主键/唯一键都必须包括分区键,也就是说不能使用主键/唯一字段之外的其他字段分区

三、RANGE分区

RANGE分区特点

根据分区键值的范围把数据行存储到表的不同分区中
多个分区的范围要连续,但是不能重叠
分区不包括上限,取不到上限值

建立RANGE分区

create table `login_log_range`(
    login_id int(10) unsigned not null comment '登录用户ID',
    login_time timestamp not null default CURRENT_TIMESTAMP,
    login_ip int(10) unsigned not null comment '登录ip'
)engine=innodb 
partition by range(login_id)(
partition p0 values less than(10000),   # 实际范围0-9999
partition p1 values less than(20000),   # 实际范围10000-19999
partition p2 values less than(30000),
partition p3 values less than maxvalue  # 存储大于30000的数据
);

RANGE分区使用场景

分区键为日期或是时间类型
经常运行包含分区键的查询,MySQL可以很快的确定只有某一个或某些分区需要扫描,例如检索商品login_id小于10000的记录数,MySQL只需要扫描p0分区即可
定期按分区范围清理历史数据

四、HASH分区

HASH分区的特点

根据MOD(分区键,分区值)的值把数据行存储到表的不同分区内
数据可以平均的分布在各个分区中
HASH分区的键值必须是一个INT类型的值,或是通过函数可以转为INT类型

如何建立HASH分区表

create table `login_log`(
    login_id int(10) unsigned not null comment '登录用户ID',
    login_time timestamp not null default CURRENT_TIMESTAMP,
    login_ip int(10) unsigned not null comment '登录ip'
)engine=innodb default charset=utf8 partition by hash(login_id) partitions 4;

create table `login_log`(
    login_id int(10) unsigned not null comment '登录用户ID',
    login_time timestamp not null default CURRENT_TIMESTAMP,
    login_ip int(10) unsigned not null comment '登录ip'
)engine=innodb default charset=utf8 partition by hash(UNIX_TIMESTAMP(login_time)) partitions 4;

五、LIST分区

LIST分区特点

按分区键取值的列表进行分区
同范围分区一样,各分区的列表值不能重复
每一行数据必须能找到对应的分区列表,否则数据插入失败

建立LIST分区

create table `login_log_list`(
    login_id int(10) unsigned not null comment '登录用户ID',
    login_time timestamp not null default CURRENT_TIMESTAMP,
    login_ip int(10) unsigned not null comment '登录ip',
    login_type int(10) not null
)engine=innodb 
partition by list(login_type)(
partition p0 values in(1,3,5,7,9),    
partition p1 values in(2,4,6,8)   
);

六、如何选择合适的分区方式

业务场景

用户每次登陆都会记录到日志表中
用户登录日志保存一年,一年后可以删除

create table `login_log_range`(
    login_id int(10) unsigned not null comment '登录用户id',
    login_time datetime  not null default current_timestamp,
    login_ip int(10) unsigned not null comment '登录ip'
)engine=innodb 
partition by range(year(login_time))(
partition p0 values less than(2015),   
partition p1 values less than(2016),   
partition p2 values less than(2017)   
);

插入数据

insert into login_log_range values
(1,'2015-01-25',1),
(2,'2015-07-25',2),
(3,'2015-06-25',3),
(4,'2016-03-25',2),
(5,'2016-02-25',1);

查询表

select table_name,partition_name,partition_description,table_rows from 
information_schema.`partitions` where table_name = 'login_log_range'

修改分区-添加分区

alter table login_log_range add partition (partition p4 values less than(2018))

分区删除

alter table login_log_range drop partition p0;

使用分区表的注意事项

结合业务场景选择分区键,避免跨分区查询
对分区表进行查询最好在where从句中包含分区键
具有主键或唯一索引的表,主键或唯一索引必须是分区键的一部分

七、命名规范

命名规范

表名建议使用有业务意义的英文词汇，必要时可加数字和下划线，并以英文字母开头
库、表、字段全部采用小写：
- MySQL 在 Linux 下默认是区分大小写的，而在 Windows 下不区分大小写。因此，防止出现问题，建议都设置为小写。
避免用 MySQL 的保留字
命名（包括表名、列名）禁止超过 30 个字符：
- 临时库、表名必须以 tmp 为前缀，并以日期为后缀，如：tmp_shop_info_20190404
- 备份库、表必须以 bak 为前缀，并以日期为后缀，如：bak_shop_info_20190404

索引命名
非唯一索引必须按照"idx_字段名称"进行命名
唯一索引必须按照"uniq_字段名称"进行命名

八、设计规范

1、主键

表必须有主键
不使用更新频繁的列做主键
尽量不选择字符串列做主键
不使用 UUID MD5 HASH 做主键
默认使用非空的唯一键

2、如无特殊要求，建议都使用 InnoDB 引擎
3、默认使用 utf8mb4 字符集，数据排序规则使用 utf8mb4_general_ci

utf8mb4 为万国码，无乱码风险；与 utf8 编码相比，utf8mb4 能支持 Emoji 表情

4、所有表、字段都需要增加 comment 来描述此表、字段所表示的含义

data_status TINYINT NOT NULL DEFAULT ‘1’ COMMENT ‘1代表记录有效，0代表记录无效’

5、尽可能不使用 TEXT、BLOB 类型

原因：会浪费更多的磁盘和内存空间，非必要的大量大字段查询会淘汰掉热数据，导致内存命中率急剧降低，影响数据库性能。
如果实在有某个字段过长需要使用 TEXT、BLOB 类型，则建议独立出来一张表，用主键来对应，避免影响原表的查询效率。

6、单表列数目建议小于 30

九、SQL语句规范

避免隐式转换
尽量不使用select *,只 select 需要的字段
- 读取不需要的列会增加 CPU、IO、NET 消耗，并且不能有效的利用覆盖索引。使用 SELECT * 容易在增加或者删除字段后导致程序报错
建议将子查询转换为关联查询
建议应用程序捕获 SQL 异常，并有相应处理

十、行为规范

批量导入、导出数据必须提前通知 DBA 协助观察
不在业务高峰期批量更新、查询数据库
删除表或者库要求尽量先 rename，观察几天，确定对业务没影响，再 drop

Yauger

发布了46 篇原创文章 · 获赞 4 · 访问量 1293

私信关注

数据库优化第13讲 - MySQL主从复制&命名规范