DBSyncer是一款开源的数据同步中间件，提供MySQL、Oracle、SqlServer、PostgreSQL、Elasticsearch(ES)、Kafka、File、SQL等同步场景。
支持上传插件自定义同步转换业务，提供监控全量和增量数据统计图、应用性能预警等。
特点：
组合驱动，自定义库同步到库组合，关系型数据库与非关系型之间组合，任意搭配表同步映射关系
实时监控，驱动全量或增量实时同步运行状态、结果、同步日志和系统日志
开发插件，自定义转化同步逻辑
设计
架构图
应用场景
| 连接器 | 数据源 | 目标源 | 支持版本(包含以下) |
|---|---|---|---|
| MySQL | ✔ | ✔ | 5.7.19以上 |
| Oracle | ✔ | ✔ | 10gR2 -11g |
| SqlServer | ✔ | ✔ | 2008以上 |
| PostgreSQL | ✔ | ✔ | 9.5.25以上 |
| ES | ✔ | ✔ | 6.0以上 |
| Kafka | 开发中 | ✔ | 2.10-0.9.0.0以上 |
| File | ✔ | ✔ | *.txt, *.unl |
| SQL | ✔ | 支持以上关系型数据库 | |
| 后期计划 | Redis |
使用教程
启动 代理 和 数据库 服务
准备测试账号，test
分配sysadmin角色
分配指定数据库权限
PostgreSQL
通过复制流技术监听增量事件，基于内置插件pgoutput、test_decoding实现解析wal日志
1、修改postgresql.conf文件，重启服务
wal_level=logical2、授予账号权限LOGIN和REPLICATION
File
监听文件修改时间得到变化文件，通过文件偏移量读取最新数据
“https://gitee.com/ghi/dbsyncer/issues/I55EP5
ES
定时获取增量数据。
账号具有访问权限。
日志
建议MySQL、SqlServer、PostgreSQL都使用日志
定时
假设源表数据格式
预览
驱动管理
驱动详情
驱动表字段关系配置
监控
上传插件
开源地址
https://gitee.com/ghi/dbsyncer
------
我们创建了一个高质量的技术交流群，与优秀的人在一起，自己也会优秀起来，赶紧点击加群，享受一起成长的快乐。另外，如果你最近想跳槽的话，年前我花了2周时间收集了一波大厂面经，节后准备跳槽的可以点击这里领取！
推荐阅读
··································
你好，我是程序猿DD，10年开发老司机、阿里云MVP、腾讯云TVP、出过书创过业、国企4年互联网6年。从普通开发到架构师、再到合伙人。一路过来，给我最深的感受就是一定要不断学习并关注前沿。只要你能坚持下来，多思考、少抱怨、勤动手，就很容易实现弯道超车！所以，不要问我现在干什么是否来得及。如果你看好一个事情，一定是坚持了才能看到希望，而不是看到希望才去坚持。相信我，只要坚持下来，你一定比现在更好！如果你还没什么方向，可以先关注我，这里会经常分享一些前沿资讯，帮你积累弯道超车的资本。