mysql分表与分区、主从复制

1.分区的工作原理

对用户而言,分区表是一个独立的逻辑表,但mysql底层将其分成了多个物理子表,每一个分区都是一个独立的子文件;

分区不需要改动原先的sql语句。

创建表时使用partition by子句定义每个分区存放的数据,执行查询时,mysql优化器会过滤那些没有我们需要查询的数据的分区,这样只需要查询有我们需要数据的分区即可。

分区的主要目的是将数据按一个较粗的粒度分在不同的表中,也可以将相关的数据存放在一起,如果一次性删除整个分区也很方便。

2.分区使用场景

表非常大,无法全部存在内存,或者只在表的最后有热点数据,其他都是历史数据;

分区表的数据更易维护,可以对独立的分区进行独立的操作;

分区的数据可以存放在不同的机器上,从而高效地利用资源;

可以备份和恢复独立的分区;

3.分区的限制

一张表只能分成1024个分区;

分区字段中如果有主键和唯一索引列,那么主键和唯一索引列都必须包含进来;

分区表中无法使用外键;

所有分区必须使用;

某些引擎不支持分区;

对于myisam分区的表,不能再使用load index into cache;

对于MyIsam表,使用分区时需要打开更多的文件描述符;

4.分库分表的工作原理

通过hash算法或一些工具实现将一张表水平或垂直物理拆分;

1)水平分割

表很大,分割后可以降低查询时需要读的数据和索引的页数;

2)垂直分割

把主键和一些列放在一个表,把主键和另外一些列放另一张表

适用于表中某些列常用,而另外一些列不常用

可以使数据行变小,同一数据页能存更多数据,减少I/O次数

缺点:

管理冗余列,查询所有数据要使用join;

有些分表的策略基于应用层的逻辑算法,一旦逻辑算法改变,整个分表逻辑都会改变,扩展性差;

对应用层,逻辑算法会增加开发成本。

5.主从复制

在主库上把数据更改记录到二进制日志

从库将主库的日志复制到自己的中继日志

从库读取中继日志的事件,将其重放到从库数据中

1)解决的问题

数据分布:随意停止或开始复制,并在不同地理位置分布数据备份

负载均衡:降低单个服务器的压力

高可用和故障切换:帮助应用程序避免单点失败

升级测试:可以使用更高版本的mysql作为从库

猜你喜欢

转载自blog.csdn.net/weixin_41111189/article/details/82871050