一次业务跨库迁移过程

公司没有专职dba，公司运维当中我对mysql日常操作有一定了解，因此主动请缨配合业务部门进行数据库迁移。
一，业务背景

将现有业务数据库B迁移到新服采购服务器上；
将该业务线的A数据库中（100+表90G）表迁移到新数据库实例B库中；
部分业务表涉及到多个业务共同写入（前期没有提供接口）需要进行实时同步，方便后期改造。

二，迁移方案

  协同开发同学商量后，决定采用前期导入数据，并通过otter实时同步，然后切换业务的方式进行。具体如下：

现有数据库迁移到新服务器：

A，新服务器上启动新数据库，并采用mysql级联复制：未来新的master挂载到现有数据库的master进行数据同步，并在它下面挂载两个slave进行数据同步，作为未来的slave;
B，切换时停止应用，确认主从同步状态，修改业务数据库地址配置为新的地址，启动应用；

2.跨库迁移i表，并实时同步

     A，用mydumper（比mysqldump快，并能记录binlog位置）导出A库中迁移的表数据；并用myloader导入到B库中；
     B，根据导出的binlog位置配置otter进行数据同步；

3.业务切换

   A，停止业务，停止otterb，并删除已完成同步的表配置（部分表需要长期）
     B，启动otter，修改业务数据库地址配置为新的地址，启动应用；
     C，后续业务改造，跨系统调用改为接口（禁止直接写表）方式，并最终停止otter;

三，迁移过程中的注意事项

  1.  迁移的表数量和名字反复确认；
  2.  mysql级联复制时候需要开启 log_slave_updates；
  3.  otter配置存放的数据库，需要忽略大小写；同步源和目标数据库需要字符集一致（utf-8）;
  4.  myloader导入时候，需要开启 -e选项，否则导入数据不会记录binlog中；

四，mysqldump , mydumper/myloader速度比较

一次业务跨库迁移过程

五，mydumper/myloader简单使用说明

账号授权

GRANT SELECT, INSERT, UPDATE, DELETE, CREATE, DROP, RELOAD, REFERENCES, INDEX, ALTER, SUPER, CREATE TEMPORARY TABLES, LOCK TABLES, REPLICATION CLIENT, CREATE VIEW, SHOW VIEW, EVENT, TRIGGER ON *.* TO mydumper'@'192.168.1.%' identified by '123456';

导出
导出db_a库中test1,test2表到/dumper/

/usr/bin/mydumper -u mydumper -p 123456 -h 192.168.1.1 -P 3306 -B db_a -T  test1 test2 -t 8 -o /dumper/ &

导入
导入test1 test2 表到db_b库

/usr/bin/myloader -u root -p 123456 -S  /tmp/mysql.sock -t 8 -o -e -B db_b -d /dumper/ &

binlog信息
/dumper/metadata
注意事项
1，如果需要记录binlog日志，开启参数 -e
2，如果需要drop 原有表，开启参数 -o
3，如果目标库存在同名数据库，移除 /dumper/db_a-schema-create.sql

一次业务跨库迁移过程

猜你喜欢