基于JSPGenFire实现数据水平切分：库内分表、分库分表

背景

关系型数据库本身比较容易成为系统瓶颈，单机存储容量、连接数、处理能力都有限。当单表的数据量达到1000W或100G以后，由于查询维度较多，即使添加从库、优化索引，做很多操作时性能仍下降严重。此时就要考虑对其进行切分了，切分的目的就在于减少数据库的负担，缩短查询时间。
根据其切分类型，可以分为两种方式：垂直（纵向）切分和水平（横向）切分。

1、垂直切分

垂直分库：是根据业务耦合性，将关联度低的不同表存储在不同的数据库。做法与大系统拆分为多个小系统类似，按业务分类进行独立划分。与"微服务治理"的做法相似，每个微服务使用单独的一个数据库。
垂直分表：是基于数据库中的"列"进行，某个表字段较多，可以新建一张扩展表，将不经常用或字段长度较大的字段拆分出去到扩展表中。在字段很多的情况下通过"大表拆小表"，更便于开发与维护，也能避免造成额外的性能开销。
当一个应用难以再细粒度的垂直切分，或切分后数据量行数巨大，存在单库读写、存储性能瓶颈，这时候就需要进行水平切分了。

2、水平切分

库内分表：只解决了单一表数据量过大的问题，但没有将表分布到不同机器的库上，因此对于减轻MySQL数据库的压力来说，帮助不是很大，大家还是竞争同一个物理机的CPU、内存、网络IO，最好通过分库分表来解决。
分库分表：根据数据内在的逻辑关系，将同一个表按不同的条件分散到多个数据库或多个表中，每个表中只包含一部分数据，从而使得单个表的数据量变小，达到分布式的效果。
水平切分的优点：
不存在单库数据量过大、高并发的性能瓶颈，提升系统稳定性和负载能力
表的数据量少了，单次SQL执行效率高，自然减轻了CPU的负担
应用端改造较小，不需要拆分业务模块
水平切分的缺点：
跨分片的事务一致性难以保证
跨库的join关联查询性能较差
数据多次扩展难度和维护量极大

重点讨论下水平切分的JSPGenFire实现方法，分别对库内分表、分库分表进行演示说明。

JSPGenFire简介

JSPGenFire定位为轻量级Java数据库操作框架，在Java的JDBC层以jar包形式提供服务，无需额外部署和依赖。数据切分就是将数据分散存储到多个数据库中，使得单一数据库中的数据量变小，通过扩充主机的数量缓解单一数据库的性能问题，从而达到提升数据库操作性能的目的。

核心概念

1、逻辑表

水平拆分的数据库（表）的相同逻辑和数据结构表的总称。例：订单数据根据主键尾数拆分为10张表，分别是jspgen_login_0到jspgen_login_9，他们的逻辑表名为jspgen_login。

2、物理表

在分片的数据库中真实存在的物理表。即上个示例中的jspgen_login_0到jspgen_login_9。

3、数据节点

数据分片的最小单元。由数据源名称和数据表组成，例：ds_0. jspgen_login_0。

分片策略

水平切分后同一张表会出现在多个数据库/表中，每个库/表的内容不同。几种典型的数据分片规则为：

1、根据数值范围

按照时间区间或ID区间来切分。例如：按日期将不同月甚至是日的数据分散到不同的库中；将id为1~9999的记录分到第一个库，10000~20000的分到第二个库，以此类推。

2、根据数值取模

一般采用取模的切分方式，例如：将 login 表根据 id 字段切分到2个库中，余数为0的放到第一个库，余数为1的放到第二个库，以此类推。

扫描二维码关注公众号，回复： 12131662 查看本文章

项目中的应用

1、数据结构

-- ----------------------------
-- Table structure for jspgen_login
-- ----------------------------
DROP TABLE IF EXISTS `jspgen_login`;
CREATE TABLE `jspgen_login` (
  `id` varchar(32) NOT NULL,
  `uid` varchar(32) default NULL,
  `name` varchar(50) default NULL,
  `score` int(20) default '0',
  `time` bigint(13) default NULL,
  PRIMARY KEY  (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
-- ----------------------------
-- Table structure for jspgen_login_0
-- ----------------------------
DROP TABLE IF EXISTS `jspgen_login_0`;
CREATE TABLE `jspgen_login_0` (
  `id` varchar(32) NOT NULL,
  `uid` varchar(32) default NULL,
  `name` varchar(50) default NULL,
  `score` int(20) default '0',
  `time` bigint(13) default NULL,
  PRIMARY KEY  (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
-- ----------------------------
-- Table structure for jspgen_login_1
-- ----------------------------
DROP TABLE IF EXISTS `jspgen_login_1`;
CREATE TABLE `jspgen_login_1` (
  `id` varchar(32) NOT NULL,
  `uid` varchar(32) default NULL,
  `name` varchar(50) default NULL,
  `score` int(20) default '0',
  `time` bigint(13) default NULL,
  PRIMARY KEY  (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
-- ----------------------------
-- Table structure for jspgen_user
-- ----------------------------
DROP TABLE IF EXISTS `jspgen_user`;
CREATE TABLE `jspgen_user` (
  `id` varchar(32) NOT NULL,
  `name` varchar(50) default NULL,
  `time` bigint(13) default NULL,
  PRIMARY KEY  (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

2、配置文件

3、策略实现

package fire.sub.provider;
import java.util.Map;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import fire.sub.SubProvider;
/**
 * 数据库分库实现
 * @author JSPGen
 * @copyright (c) JSPGen.com
 * @created 2020年03月
 * @email [email protected]
 * @address www.jspgen.com
 */
public class DbProvider implements SubProvider {
    // 日志工具
    private static Logger logger = LoggerFactory.getLogger(DbProvider.class);
    /**
     * 获取名称
     * @return String
     */
    public String getSuffix(Map<String, Object> paramMap){
        String name = "";
        try {
            name = name + (Integer.parseInt((String) paramMap.get("id"))%2);
            logger.info("db_name:" + name);
        } catch (Exception e) {
            e.printStackTrace();
        }
        return name;
    }
}

package fire.sub.provider;
import java.util.Map;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import fire.sub.SubProvider;
/**
 * 数据库分表实现
* @author JSPGen
 * @copyright (c) JSPGen.com
 * @created 2020年03月
 * @email [email protected]
 * @address www.jspgen.com
 */
public class TableProvider implements SubProvider {
    // 日志工具
    private static Logger logger = LoggerFactory.getLogger(TableProvider.class);
    /**
     * 获取名称
     * 
     * @return String
     */
    public String getSuffix(Map<String, Object> paramMap){
        String name = "_";
        try {
            /*
            // 一天一张表
            Long time = (Long) paramMap.get("time");
            if(time == null) time = Dates.getTimeMillis();
            String year = Dates.getDateTime(time, "yyyy");
            String mon  = Dates.getDateTime(time, "MM");
            String day  = Dates.getDateTime(time, "dd");
            name = name + year + mon + day;
            */
            name = name + (Integer.parseInt((String) paramMap.get("id"))%2);
            logger.info("table_name:" + name);
        } catch (Exception e) {
            e.printStackTrace();
        }
        return name;
    }
}

4、数据测试

package jspgen.action;
import java.util.HashMap;
import java.util.Map;
import fire.FireAccess;
import fire.FireBuild;
import grapes.Dates;
import grapes.Grapes;
/**
 * Action类：分库分表测试
 * @author JSPGen
 * @copyright (c) JSPGen.com
 * @created 2020年03月
 * @email [email protected]
 * @address www.jspgen.com
 */
public class DemoSubAction extends Action {
    /**
     * 默认方法
     */
    @Override
    public String execute() {
        return text("分库分表测试");
    }

    // 分库测试
    public String user() {
        long start = Dates.getTimeMillis(); // 开始时间
        FireAccess fa = FireBuild.getInstance().getAccess("JSPGen");
        String sql = "insert into `"+FireAccess.getTable("user")+"` (`id`,`name`,`time`) values (:id, :name, :time)";
        Map<String, Object> paramMap = null;
        for (int i =1 ; i< 10 ; i++){
            paramMap = new HashMap<String, Object>();
            paramMap.put("id", i+"");
            paramMap.put("name", 100+i);
            paramMap.put("time", Dates.getTimeMillis());
            fa.createSQL(sql).setParameter(paramMap).executeUpdate();
        }
        fa.close();
        long end = Dates.getTimeMillis();   // 结束时间 
        long count = end-start;
        return text("总共用了：" + Dates.getUnitTime(count, true) + " ("+count+"毫秒)");
    }
    // 分库查询测试
    public String userfind() {
        FireAccess fa = FireBuild.getInstance().getAccess("JSPGen");
        String sql = "select * from `"+FireAccess.getTable("user")+"` where `id`=:id";
        Map<String, Object> paramMap = new HashMap<String, Object>();
        //paramMap.put("id", getParameter("id"));
        paramMap.put("id", Grapes.rand(1,9)+"");
        fa.createSQL(sql).setParameter(paramMap);
        Map<String, Object> map = fa.unlist();
        fa.close();
        return text(map.toString());
    }

    // 分表测试
    public String login() {
        long start = Dates.getTimeMillis(); // 开始时间
        FireAccess fa = FireBuild.getInstance().getAccess("JSPGen");
        String sql = "insert into `"+FireAccess.getTable("login")+"` (`id`,`name`,`time`) values (:id, :name, :time)";
        Map<String, Object> paramMap = null;
        for (int i =1 ; i< 10 ; i++){
            paramMap = new HashMap<String, Object>();
            paramMap.put("id", i+"");
            paramMap.put("name", 100+i);
            paramMap.put("time", Dates.getTimeMillis());
            fa.createSQL(sql).setParameter(paramMap).executeUpdate();
        }
        fa.close();
        long end = Dates.getTimeMillis();   // 结束时间 
        long count = end-start;
        return text("总共用了：" + Dates.getUnitTime(count, true) + " ("+count+"毫秒)");
    }
    // 分表查询测试
    public String loginfind() {
        FireAccess fa = FireBuild.getInstance().getAccess("JSPGen");
        String sql = "select * from `"+FireAccess.getTable("login")+"` where `id`=:id";
        Map<String, Object> paramMap = new HashMap<String, Object>();
        //paramMap.put("id", getParameter("id"));
        paramMap.put("id", Grapes.rand(1,9)+"");
        fa.createSQL(sql).setParameter(paramMap);
        Map<String, Object> map = fa.unlist();
        fa.close();
        return text(map.toString());
    }
}

5、测试日志

6、数据记录

A、未分库分表时

B、库内分表后


C、分库分表后

写在最后

并不是所有表都需要进行切分，主要还是看数据的增长速度。切分后会在某种程度上提升业务的复杂度，数据库除了承载数据的存储和查询外，协助业务更好的实现需求也是其重要工作之一。
不到万不得已不建议轻易使用分库分表这个大招，避免"过度设计"和"过早优化"。分库分表之前，不要为分而分，先尽力去做力所能及的事情，例如：升级硬件、升级网络、读写分离、索引优化等等。当数据量达到单表的瓶颈时候，再考虑分库分表。