1.Otter初步介绍

Otter初步介绍

项目背景

阿里巴巴B2B公司，因为业务的特性，卖家主要集中在国内，买家主要集中在国外，所以衍生出了杭州和美国异地机房的需求，同时为了提升用户体验，整个机房的架构为双A，两边均可写，由此诞生了otter这样一个产品。

otter第一版本可追溯到04~05年，此次外部开源的版本为第4版，开发时间从2011年7月份一直持续到现在，目前阿里巴巴B2B内部的本地/异地机房的同步需求基本全上了otter。

目前同步规模：

同步数据量6亿
文件同步1.5TB(2000w张图片)
涉及200+个数据库实例之间的同步
80+台机器的集群规模
项目介绍
名称：otter ['ɒtə(r)]

译意： 水獭，数据搬运工

语言： 纯java开发

定位： 基于数据库增量日志解析，准实时同步到本机房或异地机房的mysql/oracle数据库. 一个分布式数据库同步系统

工作原理

image

原理描述：

1. 基于Canal开源产品，获取数据库增量日志数据。 什么是Canal, 请点击

2. 典型管理系统架构，manager(web管理)+node(工作节点)

   a. manager运行时推送同步配置到node节点

   b. node节点将同步状态反馈到manager上

3. 基于zookeeper，解决分布式状态调度的，允许多node节点之间协同工作.

什么是canal?

otter之前开源的一个子项目，开源链接地址++：http://github.com/alibaba/canal++

Introduction

See the page for Introduction: ++https://github.com/alibaba/otter/wiki/Introduction++

QuickStart

See the page for quick start: ++https://github.com/alibaba/otter/wiki/QuickStart++

AdminGuide

See the page for admin deploy guide :++https://github.com/alibaba/otter/wiki/Adminguide++

相关文档

See the page for 文档: ++https://github.com/alibaba/otter/wiki/%E7%9B%B8%E5%85%B3PPT%26amp%3BPDF++

常见问题

See the page for FAQ: ++https://github.com/alibaba/otter/wiki/Faq++

转载于:https://www.jianshu.com/p/6dbd2a0e22bf