还在为数据库读写分离分库分表的繁琐配置而苦恼吗?
了解MyCat后你将会操作一个数据库(就相当于操作了多个数据库)轻松实现读写分离分库分表。
使用MyCat原理:
a服务器一个数据库a里面有user表
b服务器一个数据库b里面有user表
MyCat配置好过后(整合a和b服务器的数据库),只需要把MyCat当成一个mysql数据库,连接MyCat(跟连接mysql方式一模一样,我是先用Navicat测试的)后,运行select * from user,MyCat会把a服务器和b服务器数据库的user表数据一起查询后返回(
select * from MyCat的 user = select * from a数据库的 user + select * from b数据库的 user
)
注意:1.mycat是java代码开发的中间件,所以运行环境要有jdk
2.多表关联查询时,最后两个表关联
3.分库分表时主键不能用数据库自增(可以用mycat里面的主键生成方法,下面有介绍)
下载地址:
http://dl.mycat.io/1.6-RELEASE/
- 然后在conf目录下编辑service.xml,rule.xml,schema.xml三个文件。
- service.xml主要配置mycat服务的参数,比如端口号,myact用户名和密码使用的逻辑数据库等
- role.xml主要配置路由策略,主要有分片的片键,拆分的策略(取模还是按区间划分等)
- schema.xml文件主要配置数据库的信息,例如逻辑数据库名称,物理上真实的数据源以及表和数据源之间的对应关系和路由策略等。
- 配置如下所示:
- server.xml
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mycat:server SYSTEM "server.dtd">
<mycat:server xmlns:mycat="http://io.mycat/">
<system>
<!--
<property name="processors">32</property>
<property name="processorExecutor">32</property>
<property name="bindIp">0.0.0.0</property>
<property name="frontWriteQueueSize">4096</property>
<property name="idleTimeout">300000</property>
<property name="mutiNodePatchSize">100</property>
-->
<property name="defaultSqlParser">druidparser</property>
<property name="mutiNodeLimitType">1</property>
<property name="serverPort">8066</property>
<property name="managerPort">9066</property>
</system>
<!-- 任意设置登陆 mycat 的用户名,密码,数据库 -->
<user name="test">
<property name="password">test</property>
<property name="schemas">TESTDB</property>
</user>
<user name="user">
<property name="password">user</property>
<property name="schemas">TESTDB</property>
<property name="readOnly">true</property>
</user>
<!--
<quarantine>
<whitehost>
<host host="127.0.0.1" user="mycat"/>
<host host="127.0.0.2" user="mycat"/>
</whitehost>
<blacklist check="false"></blacklist>
</quarantine>
-->
</mycat:server>
- role.xml
该路由表表明采用mod2的方式进行路由。通过下面可知是对item表的id键进行取模分表的,取模分到db02和db03,而users表直接路由到db01中。
<?xml version="1.0" encoding="UTF-8"?>
<!-- - - Licensed under the Apache License, Version 2.0 (the "License");
- you may not use this file except in compliance with the License. - You
may obtain a copy of the License at - - http://www.apache.org/licenses/LICENSE-2.0
- - Unless required by applicable law or agreed to in writing, software -
distributed under the License is distributed on an "AS IS" BASIS, - WITHOUT
WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. - See the
License for the specific language governing permissions and - limitations
under the License. -->
<!DOCTYPE mycat:rule SYSTEM "rule.dtd">
<mycat:rule xmlns:mycat="http://io.mycat/">
<tableRule name="role1">
<rule>
<columns>id</columns>
<algorithm>mod-long</algorithm>
</rule>
</tableRule>
<function name="mod-long" class="io.mycat.route.function.PartitionByMod">
<!-- how many data nodes -->
<property name="count">2</property>
</function>
</mycat:rule>
- schema.xml 数据库的url,usename,password按实际情况填写。
<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
<!-- 设置表的存储方式.schema name="TESTDB" 与 server.xml中的 TESTDB 设置一致 -->
<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100">
<table name="users" primaryKey="id" dataNode="node_db01" />
<table name="item" primaryKey="id" dataNode="node_db02,node_db03" rule="role1" />
</schema>
<!-- 设置dataNode 对应的数据库,及 mycat 连接的地址dataHost -->
<dataNode name="node_db01" dataHost="dataHost01" database="db01" />
<dataNode name="node_db02" dataHost="dataHost01" database="db02" />
<dataNode name="node_db03" dataHost="dataHost01" database="db03" />
<!-- mycat 逻辑主机dataHost对应的物理主机.其中也设置对应的mysql登陆信息 -->
<dataHost name="dataHost01" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native">
<heartbeat>select user()</heartbeat>
<writeHost host="server1" url="127.0.0.1:3306" user="root" password="123456"/>
</dataHost>
</mycat:schema>
启动测试
- 在命令行切换到bin目录下,然后执行如下命令:
startup_nowrap.bat
正确启动后会显示如下命令:
然后表示我们启动服务成功。
验证结果
- 在命令行访问mycat逻辑数据库,采用如下的命令:
mysql -utest -ptest -h127.0.0.1 -P8066 -DTESTDB
- 现在通过数据库查询数据库和表,发现只有逻辑数据库TESTDB而不是db01, db02, db03;而且表也是统一显示的,而不是分布在不同的实际数据库中。参考图片如下:
-
- 现在在访问Mycat在数据库中插入数据,看数据能否按照前面配置的路由规则进行分表。
- 现在执行如下的SQL语句进行数据的插入。
insert into users(name,indate) values('kk',now()); insert into users(name,indate) values('ss',now()); insert into item(id,value,indate) values(1,100,now()); insert into item(id,value,indate) values(2,100,now());
- 1
- 2
- 3
- 4
- 然后在mycat上查看是否插入成功,下图显示插入成功。
- 然后登录实际的数据库,看分表是否成功。下图显示分表成功。
外键关联(同数据库关联或者不同数据库关联)
目前支持两张表关联
1 同一数据库的表关联
<!-- 设置表的存储方式.schema name="TESTDB" 与 server.xml中的 TESTDB 设置一致 -->
<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100">
<!-- 主表users的id是子表ii的userid字段 (users和ii在同数据库)-->
<table name="users" dataNode="node_db01">
<childTable name="ii" joinKey="userid" parentKey="id"/>
</table>
</schema>
2 不同数据库的表关联(分库分表)
<!-- 主表item的id是子表item1的itemid字段 (item和item1都分在db1和db2两个数据库中)-->
<table name="item" dataNode="node_db02,node_db03" rule="role1">
<childTable name="item1" joinKey="itemid" parentKey="id"/>
</table>
分库分表下主键自增(多表下id自增且唯一)
mycat生成函数:next value for MYCATSEQ_GLOBAL
查看当前:select next value for MYCATSEQ_GLOBAL
该函数生成规则配置如下:
- 本地文件方式:
在sequence_conf.properties 文件中做如下配置:
# 这是全局表的设置 GLOBAL.HISIDS= GLOBAL.MINID=10001 GLOBAL.MAXID=1000000000 GLOBAL.CURID=10000 # 下面是自定义表的设置 TT.HISIDS= TT.MINID=1001 TT.MAXID=2000 TT.CURID=1000
其中HISIDS 表示使用过的历史分段(一般无特殊需要可不配置),MINID 表示最小ID 值,MAXID 表示最大
ID 值,CURID 表示当前ID 值。
server.xml 中配置:
<system><property name="sequnceHandlerType">0</property></system>
在schema.xml文件中配置,增加表tt,ID为主键,在dn$1-3上分片,分片方式mod-log
<table name="tt" primaryKey="id" autoIncrement="true" dataNode="dn$1-3" rule="mod-long"/>
insert into tt(id,name_) values(next value for MYCATSEQ_GLOBAL,1);
优点:配置简单,本地文件,读写速度快 缺点:导致MYCAT变成有状态的中间件,不利于高可用部署集群
- 数据库方式
- 本地时间戳算法
mycat读写分离
<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
<!-- 设置表的存储方式.schema name="TESTDB" 与 server.xml中的 TESTDB 设置一致 -->
<schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100">
<table name="item" dataNode="node_db01" />
<table name="item1" dataNode="node_db01" />
</schema>
<!-- 设置dataNode 对应的数据库,及 mycat 连接的地址dataHost -->
<dataNode name="node_db01" dataHost="dataHost01" database="db03" />
<dataNode name="node_db02" dataHost="dataHost01" database="db03" />
<!-- 物理数据库读写分离配置 -->
<dataHost name="dataHost01" maxCon="1000" minCon="10" balance="1" writeType="0" dbType="mysql" dbDriver="native">
<heartbeat>select user();</heartbeat>
<!-- 写到本地数据库 -->
<writeHost host="hostM1" url="127.0.0.1:3306" user="root" password="root">
<!-- 读取外网数据库 -->
<readHost host="hostM1" url="47.92.7.76:3306" user="root" password="MDLS31gHIODkpod3123j">
</readHost>
</writeHost>
</dataHost>
</mycat:schema>