ETL(四):LOOKUP查找转换组件的使用

1、在我的ETL(三)这篇文章中,我们使用“汇总转换”组件和“表达式转换”组件,将items中的源数据,按照供应商分组,求出了产品的最大价格、最小价格…如下图所示;

在这里插入图片描述

2、本篇文章需求:在上述结果的基础上,使用lookup查找转换组件进行匹配查找,找出每个供应商id对应的供应商的名称,每个供应商id和供应商的名称对应关系如下图所示;

在这里插入图片描述

3、开发步骤
  • 我们直接在以前开发步骤上添加、修改某些步骤,即可完成上述需求,因此我们还是在文件夹test_aggregation中进行开发;
1)重新定义源表:导入另外一个源表manufacturers;

在这里插入图片描述

2)重新定义目标表

① 给原来的目标表新增一个字段MANUFACTURER_NAME;
在这里插入图片描述
② 生成并执行sql,新的目标表才能真正被创建;
在这里插入图片描述
③ 在上述基础上,进行如下操作;
在这里插入图片描述
④ 此时,可以去edw用户下查看重新生成的目标表;
在这里插入图片描述

3)重新定义映射

① 当我们重新定义目标表后,映射也会跟着改变,如下图所示;
在这里插入图片描述
② 添加一个“lookup查找转换组件”;
在这里插入图片描述
效果如下:
在这里插入图片描述
③ 将“汇总转换”组件中的MANUFACTURER_ID拖拉到“LOOKUP查找转换组件”,效果如下;
在这里插入图片描述
④ 下面进行“LOOKUP查找转换组件”的操作;
在这里插入图片描述
⑤ 还有一个需要注意的地方,如下所示;
在这里插入图片描述
⑥ 进行映射关系的连接,效果如下;
在这里插入图片描述
⑦ 点击CTRL+S保存,当出现如下界面,证明修改的映射创建完成;
在这里插入图片描述

4)创建任务

① 对于之前创建的任务,不用修改,可以查看里面多了一个lookup组件;
在这里插入图片描述
② 点击CTRL+S重新保存一下这个任务;
在这里插入图片描述

5)创建工作流

① 由于之前创建的工作流还在,我们不用做任何修改,直接启动就行;
在这里插入图片描述
② 上述操作会自动打开M客户端,在M客户端可以查看执行日志,当出现了错误都可以在这里进行原因查找;
在这里插入图片描述
③ 此时,取edw用户下查看重新生成的edw_items表;
在这里插入图片描述

发布了50 篇原创文章 · 获赞 64 · 访问量 1万+

猜你喜欢

转载自blog.csdn.net/weixin_41261833/article/details/103643011