该步骤用于将两个不同来源的数据合并,这两个来源的数据分别为旧数据和新数据,该步骤将旧数据和新数据按照指定的关键字匹配、比较、合并。
需要设置的参数:
旧数据来源:旧数据来源的步骤
新数据来源。新数据来源的步骤
标志字段:设置标志字段的名称,标志字段用于保存比较的结果,比较结果有下列几种。
1. “identical” – 旧数据和新数据一样
2. “changed” – 数据发生了变化;
3. “new” – 新数据中有而旧数据中没有的记录
4. “deleted” –旧数据中有而新数据中没有的记录
关键字段:用于定位两个数据源中的同一条记录。
比较字段:对于两个数据源中的同一条记录中,指定需要比较的字段。
合并后的数据将包括旧数据来源和新数据来源里的所有数据,对于变化的数据,使用新数据代替旧数据,同时在结果里用一个标示字段,来指定新旧数据的比较结果。
注意:(必须排序 字段名一定要相同
合并记录不能使用复制数)
特此备注下:合并记录 之前先 进行 排序(如下图红框标记的部分)
1.旧数据和新数据需要事先按照关键字段排序。
2.旧数据和新数据要有相同的字段名称。
使用多主键进行增量抽取案例:
使用Merge Join 进行增量更新
Kettle 合并记录和Merge Join组件实现数据增量迁移(数据同步比插入更新快
猜你喜欢
转载自forlan.iteye.com/blog/2245814
今日推荐
周排行