Kettle使用_7 数据校验组件应用
需求:
- 通过数据校验组件完成数据字段、长度、类型、字段是否为空、字段是否在指定的范围内的检验
- 统计出错误的个数(或仅按照错误类型的个数)
- 能根据错误个数做流程终止的控制。
解决方法:
通过数据校验组件结合分组统计、过滤记录和终止流程组件来完成。
- 场景一:字段最大长度检验
Step1: 拖动一个自定义常量组件(字段是name,类型是string,数据见下图)到转换并
Step2:将转换里检验分类下的数据检验拖到转换里。
Step3: 按住SHIFT,从自定义常量里连接到数据校验组件。
Step4:设置最大字符串长度为8
- 场景二:检查数字类型最大长度(这里检查score最大值为70)
步骤类似场景一,这里的自定义常量数据见下:
数据校验配置数据最大值配置:
- 场景三:检查数据是否为空(这里code字段第二行为空)
这里的自定义常量数据见下:
数据校验,是否为空配置。
- 场景四:字段类型检验(这里给的CityCode是integer,但检验时需要是String类型)
数据检验里数据类型检查配置
- 场景五:数据是否属于某个范围(List)
自定义数据如下(工资水平有A、B、C、D、E、F6条记录,而实际合法的是如下list :A、B、C、D)
数据校验(在一个范围内)的配置。
- 场景六:综合案例(即需求部分)
配置如上的数据校验组件与统计组件互连到一个Dummy组件
这里统计组件可按照如下设置:
可设置过滤组件如下:
如果满足过滤条件,则进入流程终止。
完整流程示意: