1.分区的工作原理
对用户而言,分区表是一个独立的逻辑表,但mysql底层将其分成了多个物理子表,每一个分区都是一个独立的子文件;
分区不需要改动原先的sql语句。
创建表时使用partition by子句定义每个分区存放的数据,执行查询时,mysql优化器会过滤那些没有我们需要查询的数据的分区,这样只需要查询有我们需要数据的分区即可。
分区的主要目的是将数据按一个较粗的粒度分在不同的表中,也可以将相关的数据存放在一起,如果一次性删除整个分区也很方便。
2.分区使用场景
表非常大,无法全部存在内存,或者只在表的最后有热点数据,其他都是历史数据;
分区表的数据更易维护,可以对独立的分区进行独立的操作;
分区的数据可以存放在不同的机器上,从而高效地利用资源;
可以备份和恢复独立的分区;
3.分区的限制
一张表只能分成1024个分区;
分区字段中如果有主键和唯一索引列,那么主键和唯一索引列都必须包含进来;
分区表中无法使用外键;
所有分区必须使用;
某些引擎不支持分区;
对于myisam分区的表,不能再使用load index into cache;
对于MyIsam表,使用分区时需要打开更多的文件描述符;
4.分库分表的工作原理
通过hash算法或一些工具实现将一张表水平或垂直物理拆分;
1)水平分割
表很大,分割后可以降低查询时需要读的数据和索引的页数;
2)垂直分割
把主键和一些列放在一个表,把主键和另外一些列放另一张表
适用于表中某些列常用,而另外一些列不常用
可以使数据行变小,同一数据页能存更多数据,减少I/O次数
缺点:
管理冗余列,查询所有数据要使用join;
有些分表的策略基于应用层的逻辑算法,一旦逻辑算法改变,整个分表逻辑都会改变,扩展性差;
对应用层,逻辑算法会增加开发成本。
5.主从复制
在主库上把数据更改记录到二进制日志
从库将主库的日志复制到自己的中继日志
从库读取中继日志的事件,将其重放到从库数据中
1)解决的问题
数据分布:随意停止或开始复制,并在不同地理位置分布数据备份
负载均衡:降低单个服务器的压力
高可用和故障切换:帮助应用程序避免单点失败
升级测试:可以使用更高版本的mysql作为从库