Kettle使用_12 CSV文件仅并发运行与复制数量
需求: 通过并行方式完成customers-100.txt(该文件有2.4万条记录)的文本输出。
解决方法:结合CSV文本输入和文件文本输出组件解决,这里需要设置CSV文本输入的并行运行以及组件的复制数量。
说明:
1 总体步骤参考:Kettle使用_11 CSV文件并行读写复制数量
2 这里需要勾选CSV文本输入组件的 并发执行和复制数量选项(详见Step3、Step7),文件文本输出组件则不需要填写复制数量。
Previous work:
- 准备并下载customers-100.txt数据到指定的目录(如F:\KettleWorkSpace\KettleInput\files\customers-100.txt),数据详见下:
链接:https://pan.baidu.com/s/1pCPhwJ6BAlF5u4nB9KUhsA
提取码:kzl9
数据预览:
Step1:新建个转换。
扫描二维码关注公众号,回复:
12408392 查看本文章
![](/qrcode.jpg)
Step2:找到CSV文本输入组件,该组件在转换里的输入分类下。
Step3:配置CSV文本输入组件。
Step4:拖文本文件输出组件到转换里。
Step5:通过SHIFT连接CSV输入组件和文本文件输出组件,选择主输出步骤。
Step6:配置文本文件输出组件。
Step7:仅配置CSV文件输入组件的复制数量,这里都设置为4。
Step8:运行验证。