StreamSet使用要点

前提条件
已了解StreamSet基本操作和各个功能组件:origins、processors、Destinations、Executors

一、 导出全表数据到Hive
功能:将Mysql表全表导出到Hive,同时将类型都转换为String类型
StreamSet使用要点

1、 Field Type Converter 可用于转换字段类型
注: 如果转换前此pipline已经执行过,则需要修改目标表名或重启以清除缓存,否则会报 Type Mismatch 异常。例如:Type Mismatch for column 'id', Expected: BIGINT, Actual: STRING

2、导出全表数就需要使用Pipeline Finisher Executor ,以便导完后能够自动终止,否则会重复执行导入操作。

未完,待续

猜你喜欢

转载自blog.51cto.com/zhsusn/2596823