安装JDK
1.下载镜像
docker pull primetoninc/jdk:1.8
2.查看镜像
docker images
3.启动容器
docker run -it --name jdk1.8 -d primetoninc/jdk:1.8
4.查看容器
docker ps
5.进入jdk的安装目录
sudo docker exec -it jdk1.8 /bin/bash
6.查看jdk版本
java-version
7.退出jdk安装目录
exit
安装mysql主从复制
1.安装镜像
//如果想指定版本可以docker pull mysql:5.7 代表下载5.7版本
docker pull mysql:5.7
2. 运行完以上命令之后,镜像就已经下载下来了,可以用 docker images 命令查看是否已经下载成功
3.第一次启动MySQL
docker run -d -p 3306:3306 -v /home/mysql/conf:/etc/mysql/conf.d -v /home/mysql/data:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=123456 --name mysql_master mysql:5.7
参数说明
# 启动我们的
-d # 后台运行
-p # 端口隐射 navicat链接到服务器的3306 --- 3306 和 容器的3306映射
-v # 卷挂载
-e # 环境配置
--name # 容器的名字
之后的第二次启动直接用 docker start mysql_master 即可。
4、连接navicat(选做)
新装了MYSQL8.0后再用navicat连接就会报2059的错误。上网查了发现是8.0之后MYSQL更改了密码的加密规则,只要在命令窗口把加密方法改回去即可。
1) 首先使用以下命令进入MySQL的Docker容器
MYSQL8是上面启动的时候 为该容器起的名称
docker exec -it MYSQL8 bash
2)然后登录MySQL
这里的密码就是上面设置的密码
mysql -uroot -p123456
3)最后运行以下SQL即可
alter user 'root'@'%' identified by '123456' password expire never;
alter user 'root'@'%' identified with mysql_native_password by '123456';
flush privileges;
这样就可以通过navicat工具连接当前数据库了。这里顺便看下当前MYSQL的版本,通过 select version()
;
明显可以看到当前MYSQL的版本是 5.7
注意
这边Master库和Slave库不在同一个服务器,所以Slave安装MYSQL的步骤和Master一样就可以了。一定要记住Msater库和Slave库的MYSQL版本号要一致。
二、配置MASTER和SLAVE
1、配置Master
进入文件夹
//进入文件夹
cd home/mysql/conf/
//新建文件
touch my.cnf
在my.cnf添加如下配置
[mysqld]
## 设置server_id,同 一局域网中需要 唯一
server_id=101
##指定不需要同步的数据库名称
binlog-ignore-db=mysql
##开启二进制日志功能
log-bin=mall-mysql-bin
##设置二进制日志使用内存大小(事务)
binlog_cache_size=1M
##设置使用的二进制日志格式(mixed,statement,row)
binlog_format=mixed
##二进制日志过期清理时间。默认值为0,表示不自动清理
expire_logs_days=7
##跳过主从复制中遇到的所有错误或指定类型的错误,避免savle端复制中断。
##如:1062错误是指一些主键重复,1032错误是因为主从数据库不一致
slave_skip_errors=1062
添加完后保存,同时退出当前Docker容器。因为修改了配置文件,所以要重启下该MYSQL,这里重启下该Docker容器就好了。
MYSQL8是上面启动的时候 为该容器起的名称
docker restart mysql_master
至此,Master配置完成。
2、配置从库,安装配置和主库一样
docker run -d -p 3307:3306 -v /home/mysql-slave/conf:/etc/mysql/conf.d -v /home/mysql-slave/data:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=123456 --name mysql_slave mysql:5.7
进入文件夹
//进入文件夹
cd home/mysql-slave/conf/
//新建文件
touch my.cnf
//编辑文件
vim my.cnf
在my.cnf添加如下配置
[mysqld]
## 设置server_id,同 一局域网中需要 唯一
server_id=102
##指定不需要同步的数据库名称
binlog-ignore-db=mysql
##开启二进制日志功能
log-bin=mall-mysql-bin
##设置二进制日志使用内存大小(事务)
binlog_cache_size=1M
##设置使用的二进制日志格式(mixed,statement,row)
binlog_format=mixed
##二进制日志过期清理时间。默认值为0,表示不自动清理
expire_logs_days=7
##跳过主从复制中遇到的所有错误或指定类型的错误,避免savle端复制中断。
##如:1062错误是指一些主键重复,1032错误是因为主从数据库不一致
slave_skip_errors=1062
添加完后保存,同时退出当前Docker容器。因为修改了配置文件,所以要重启下该MYSQL,这里重启下该Docker容器就好了。
MYSQL8是上面启动的时候 为该容器起的名称
docker restart mysql_slave
配置主从复制
这个时候们通过工具连接该MYSQL服务器,你可以通过navicat或者Sequel pro等等,连接登上后。
(主库操作)创建用户并授权
--为从库服务器 设置用户名和密码(表明从服务器的ip必须为47.00.00.02,账号为slave 密码123456
CREATE USER 'slave'@'47.00.00.02' IDENTIFIED BY '123456';
grant replication slave, replication client on *.* to 'slave'@'47.00.00.02'; --设置权限
flush privileges; --权限生效
-------------------同机器的话-----------
//mysql终端执行两个语句
CREATE USER 'slave'@'%' IDENTIFIED BY '123456';
GRANT REPLICATION SLAVE,REPLICATION CLIENT ON *.* TO 'slave'@'%';
3、开启Master-Slave主从复制
上面两步Master和Slave都配置成功了,而且Master也为Slave读取Master数据专门设置了一个账号,下面就来实现同步。
进入Master库
(主库操作)查看Master状态
--通过该命令可以查看master数据库当前正在使用的二进制日志及当前执行二进制日志位置
show master status
记住File和Position,后面Slave库会在这个文件这个位置进行同步数据。此时一定不要操作Master库,否则将会引起Master状态的变化,File和Position字段也将会进行变化。
进入Slave库
(从库操作)执行SQL
change master to master_host='152.136.145.72',master_user='slave',master_password='123456',master_port=3306,master_log_file='mall-mysql-bin.000001',master_log_pos=154,master_connect_retry=30;
命令说明
master_host :Master库的地址,指的是容器的独立ip,可以通过:
master_port :Master的端口号,指的是容器的端口号(默认3306)
master_user :用于数据同步的用户
master_password :用于同步的用户的密码
master_log_file :指定 Slave 从哪个日志文件开始复制数据,即上文中提到的 File 字段的值
master_log_pos :从哪个 Position 开始读,即上文中提到的 Position 字段的值
(从库操作)使用start slave
命令开启主从复制过程
start slave; -- 顺便提供下其它命令 stop slave 停止slave。reset slave重启slave。 reset master重启master。
启动之后们来看下有没有成功。
(从库操作)show slave status
命令
从这张图很明显看出,对于Slave的两个线程都成功了,那就说明整个MYSQL主从搭建成功了。如果有一个为NO,那就需要到后面看错误日志,是什么原因出错了,解决下就好了。
Slave_IO_Running: 从服务器中I/O线程的运行状态,YES为运行正常
Slave_SQL_Running: 从服务器中SQL线程的运行状态,YES为运行正常
三、测试
这里简单做一个测试
1、只在Mater 创建一张User表
现在 只在Mater 创建一张User表
,如果现在Slave也同样生成这张User表,那就说明成功了。
CREATE TABLE `user` (
`id` bigint NOT NULL COMMENT '主键',
`user_name` varchar(11) NOT NULL COMMENT '用户名',
`password` varchar(11) NOT NULL COMMENT '密码',
`create_time` datetime NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 ROW_FORMAT=DYNAMIC COMMENT='用户表';
实际测试结果是成功的。
注意
这里如果们先手动在Slave创建这张User表,然后再到Master创建User表那就出事情了。们按照上面的步骤创建完后,去Slave通过 show slave status
查看
发现 SQL线程都变NO了。原因很简单,错误日志也说明了(Error 'Table 'user' already exists')。因为你在Master创建User表的SQL会记录到bin-log日志中,然后Slave
去读取这个操作,然后写入Slave中的时后发现这个SQL执行失败,因为你Slave已经存在该User表,然后这整个主从复制就卡在这里了。这是个很严重的问题。
所以一旦搭建主从复制成功,只要在Master做更新事件(update、insert、delete),不要在从数据做,否则会出现数据不一致甚至同步失败。
2、Master插入一条数据
INSERT INTO `user` (`id`, `user_name`, `password`, `create_time`)
VALUES
(0, '张三', '123456', '2020-11-25 04:29:43');
再去Slave数据库查看
发现从数据库已经写入成功了。
总结
:在搭建的过程可能还有其它的问题出现 你只要在Slave服务器,通过show slave status,如果两个IO是否为YES就代表是否成功,如果有为NO的,
后面有字段说明是什么原因导致的,你再根据相关错误信息去查询下解决方案,那就可以了。
Docker实现Mysql主从复制 - 温柔的风 - 博客园
docker集成mycat
1、拉取mycat镜像
# 拉取mycat镜像(单库分表有问题)
docker pull longhronshens/mycat-docker
docker pull manondidi/mycat
2、创建文件目录/usr/local/mycat
用于保存mycat的主要配置文件server.xml、schema.xml以及rule.xml
#创建命令
mkdir -p /usr/local/mycat
3、准备号要挂载的配置文件server.xml、schema.xml以及rule.xml
server.xml内容:
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mycat:server SYSTEM "server.dtd">
<mycat:server xmlns:mycat="http://io.mycat/">
<system>
<property name="nonePasswordLogin">0</property> <!-- 0为需要密码登陆、1为不需要密码登陆 ,默认为0,设置为1则需要指定默认账户-->
<property name="useHandshakeV10">1</property>
<property name="useSqlStat">0</property> <!-- 1为开启实时统计、0为关闭 -->
<property name="useGlobleTableCheck">0</property> <!-- 1为开启全加班一致性检测、0为关闭 -->
<property name="sequnceHandlerType">2</property>
<property name="subqueryRelationshipCheck">false</property>
<property name="handleDistributedTransactions">0</property>
<property name="useOffHeapForMerge">1</property>
<property name="memoryPageSize">64k</property>
<property name="spillsFileBufferSize">1k</property>
<property name="useStreamOutput">0</property>
<property name="systemReserveMemorySize">384m</property>
<property name="useZKSwitch">false</property>
<property name="strictTxIsolation">false</property>
<property name="useZKSwitch">true</property>
</system>
<user name="mycat" >
<property name="password">123456</property>
<!--可以将mycat当成一个整体的数据库,逻辑数据库名-->
<property name="schemas">test_db</property>
</user>
<!--只读用户-->
<user name="mycat_readonly">
<property name="password">123456</property>
<property name="schemas">test_db</property>
<property name="readOnly">true</property>
</user>
</mycat:server>
schema.xml内容:
<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
<!-- name =test_db :表示mycat的逻辑数据库名称,是
<user name="mycat" >
<property name="password">1234qwer!</property>
<property name="schemas">test_db</property>
</user>
当schema节点没有子节点table的时候,一定要有dataNode属性存在(指向mysql真实数据库),
-->
<!--逻辑数据库-->
<schema name="test_db" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn1"></schema>
<!--指定master的数据库bmp-->
<dataNode name="dn1" dataHost="masterhost" database="test_db"/>
<!-- <dataNode name="dn2" dataHost="bmphost" database="myitem1001"/> -->
<!--指定mastet的ip -->
<dataHost name="masterhost" maxCon="1000" minCon="10" balance="1"
writeType="0" dbType="mysql" dbDriver="native" switchType="-1" slaveThreshold="100">
<!--表示mysql的心跳状态,查询mysql数据库有没有在运行-->
<heartbeat>select user()</heartbeat>
<!-- master负责写 -->
<writeHost host="hostM1" url="152.136.145.72:3306" user="root" password="123456">
<!--slave负责读-->
<readHost host="hostS1" url="152.136.145.72:3307" user="root" password="123456"></readHost>
</writeHost>
</dataHost>
</mycat:schema>
通过balance 开启主从复制,balance 一主一从配置3,双主双从配置1
<dataHost name="masterhost" maxCon="1000" minCon="10" balance="1"
writeType="0" dbType="mysql" dbDriver="native" switchType="-1" slaveThreshold="100">
<!--表示mysql的心跳状态,查询mysql数据库有没有在运行-->
<heartbeat>select user()</heartbeat>
<!-- master负责写 -->
<writeHost host="hostM1" url="152.136.145.72:3306" user="root" password="123456">
<!--slave负责读-->
<readHost host="hostS1" url="152.136.145.72:3307" user="root" password="123456"></readHost>
</writeHost>
</dataHost>--------------------------------
以上的配置文件,两个url、user和password要根据自己的主从库修改,url就是对应主机的ip。端口号就是映射到主机上面的端口号。
rule.xml文件内容:
<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mycat:rule SYSTEM "rule.dtd">
<mycat:rule xmlns:mycat="http://io.mycat/">
<tableRule name="userrule">
<rule>
<columns>id</columns>
<algorithm>func1</algorithm>
</rule>
</tableRule>
<tableRule name="categoryrule">
<rule>
<columns>id</columns>
<algorithm>jump-consistent-hash</algorithm>
</rule>
</tableRule>
<function name="murmur" class="io.mycat.route.function.PartitionByMurmurHash">
<property name="seed">0</property><!-- 默认是0 -->
<property name="count">2</property><!-- 要分片的数据库节点数量,必须指定,否则没法分片 -->
<property name="virtualBucketTimes">160</property><!-- 一个实际的数据库节点被映射为这么多虚拟节点,默认是160倍,也就是虚拟节点数是物理节点数的160倍 -->
<!-- <property name="weightMapFile">weightMapFile</property> 节点的权重,没有指定权重的节点默认是1。以properties文件的格式填写,以从0开始到count-1的整数值也就是节点索引为key,以节点权重值为值。所有权重值必须是正整数,否则以1代替 -->
<!-- <property name="bucketMapPath">/etc/mycat/bucketMapPath</property>
用于测试时观察各物理节点与虚拟节点的分布情况,如果指定了这个属性,会把虚拟节点的murmur hash值与物理节点的映射按行输出到这个文件,没有默认值,如果不指定,就不会输出任何东西 -->
</function>
<function name="crc32slot" class="io.mycat.route.function.PartitionByCRC32PreSlot">
<property name="count">2</property><!-- 要分片的数据库节点数量,必须指定,否则没法分片 -->
</function>
<function name="hash-int" class="io.mycat.route.function.PartitionByFileMap">
<property name="mapFile">partition-hash-int.txt</property>
</function>
<function name="rang-long" class="io.mycat.route.function.AutoPartitionByLong">
<property name="mapFile">autopartition-long.txt</property>
</function>
<function name="mod-long" class="io.mycat.route.function.PartitionByMod">
<!-- how many data nodes -->
<property name="count">4</property>
</function>
<function name="func1" class="io.mycat.route.function.PartitionByLong">
<property name="partitionCount">8</property>
<property name="partitionLength">128</property>
</function>
<function name="latestMonth"
class="io.mycat.route.function.LatestMonthPartion">
<property name="splitOneDay">24</property>
</function>
<function name="partbymonth" class="io.mycat.route.function.PartitionByMonth">
<property name="dateFormat">yyyy-MM-dd</property>
<property name="sBeginDate">2019-01-01</property>
</function>
<function name="rang-mod" class="io.mycat.route.function.PartitionByRangeMod">
<property name="mapFile">partition-range-mod.txt</property>
</function>
<function name="jump-consistent-hash" class="io.mycat.route.function.PartitionByJumpConsistentHash">
<property name="totalBuckets">4</property>
</function>
</mycat:rule>
创建并启动mycat容器
#命令:
docker run --name dzmycat -v /usr/local/mycat/schema.xml:/usr/local/mycat/conf/schema.xml -v /usr/local/mycat/rule.xml:/usr/local/mycat/conf/rule.xml -v /usr/local/mycat/server.xml:/usr/local/mycat/conf/server.xml --privileged=true -p 8066:8066 -p 9066:9066 -d longhronshens/mycat-docker
命令2:单库1.6.7.5
docker run --name dzmycat -v /usr/local/mycat/schema.xml:/usr/local/mycat/conf/schema.xml -v /usr/local/mycat/rule.xml:/usr/local/mycat/conf/rule.xml -v /usr/local/mycat/server.xml:/usr/local/mycat/conf/server.xml --privileged=true -p 8066:8066 -p 9066:9066 -d manondidi/mycat
5、测试中间件mycat 操作表和数据
5.1使用navicat连接mycat
可以看到test_db这个逻辑数据库:
5.2连接主库
在主库中创建test_db数据库
这个test_db就是schema.xml文件中配置的
<dataNode name="dn1" dataHost="masterhost" database="test_db"/>
5.3在mycat中间件中的test_db数据库中,创建表test,可以看到主库中的test_db数据库中,自动更新了test表
docker安装tomcat
# 拉取 tomcat镜像
docker pull tomcat:8.5
# 查看docker所有的镜像
docker images
#启动容器
docker run -d -p 8080:8080 --name my_tomcat -v /home/tomcat:/usr/local/tomcat/webapps tomcat:8.5
docker run 其实是 create 和 start 两个命令的合并
-d 表示后台运行容器,并返回容器ID
-p 8090:8080 表示 将容器的8080端口映射到主机的8090端口,前者是主机访问端口:后者是容器内部端口
--name 给容器起别名,如 my_tomcat
tomcat:8.5 表示 镜像名称:镜像TAG,默认最新版可以不加TAG
-v 表示把容器中的某个文件夹挂载到主机中,格式: -v 主机目录:容器目录
挂载文件要加一个ROOT目录