阿里云大数据ACP(二)数据集成 Data Integration

一、简介

1.1 什么是数据集成

在这里插入图片描述

1.2 数据集成简介

在这里插入图片描述

1.3 数据集成支持的数据源

在这里插入图片描述

1.4 数据同步

在这里插入图片描述

1.5 数据同步作业

在这里插入图片描述

1.6 数据同步的权限与安全

在这里插入图片描述

1.7 数据集成 & DataX

在这里插入图片描述
在这里插入图片描述
数据集成(DataWorks中的数据集成)基于DataX平台的可视化配置+调度系统,核心是一致的。

二、数据同步

2.1 利用数据集成同步数据

在这里插入图片描述

2.2 配置数据源

在这里插入图片描述

2.3 创建同步任务

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.4 运行同步任务

在这里插入图片描述

2.5 查看同步任务结果

在这里插入图片描述

2.6 同步中的“脏”数据和容错

在这里插入图片描述

三、常见的配置

3.1 配置白名单

在这里插入图片描述

3.2 配置安全组

在这里插入图片描述

3.3 通道控制参数DMU配置

在这里插入图片描述

3.4 通道控制参数并发配置

在这里插入图片描述

3.5 通道控制错误记录数配置

在这里插入图片描述

3.6 数据源切分键配置

在这里插入图片描述

3.7 数据字段映射配置

在这里插入图片描述

原创文章 374 获赞 1045 访问量 47万+

猜你喜欢

转载自blog.csdn.net/BeiisBei/article/details/106076246