数据同步
当业务数据进入阿里云maxcomputer,我们或许需要进行一些简单的流程化处理,比如进行数据回流至mysql或是其他数据库,需要创建数据同步任务。
进入dataworks2.0 控制台
在左侧数据发开中新建业务流程,我们可以在数据集成中创建数据同步任务,进行数据的双向同步;当然我们首先确保我们已经添加数据源,即将我们的业务数据库地址添加至数据源,才能到这里创建数据同步任务,如果没有,会有指引页面。
数据同步任务创建完毕
在这里我们可以设置 双向数据源,以及一些其他选项。如果要进行周期调度,需要在右侧 调度配置进行设置,
字段映射 ,可选择需要映射字段,可交叉选择,刷新可自动排版,
通道控制则是对传输效率进行一些控制
注意事项:
- 每一个任务都可以设置调度依赖,如果此任务没有上游依赖,则可以使用根结点,否则选择相应的依赖节点。
- 周期调度时间可以选择发布后生效,或是 T + 1 日生效
- 无论是数据同步任务或是sql任务 完成后必须提交发布 才可生效
将数据从maxcomputer中进行查询后进行数据的同步或者数据统计结果的同步
我们需要
在图一的数据开发中新建sql节点 当我们完成sql语句的开发,我们同样可以设置定时任务,同样在右侧调度配置中
周期任务设置完成后,可以在运维中心 周期任务中进行查看
- 我们可以设置数据同步依赖某一个sql节点,同样是在调度配置中的调度依赖进行设置,将sql节点的输出节点作为数据同步的上游节点
- 也可以将定时的sql任务结果insert到新的数据表,再创建此表与业务表之间数据同步关系
MaxCompute开发者社区群号 : 11782920 钉钉