1、测试Ftp取文件
利用搭建好的StreamSet平台，配置Ftp客户端连接，并拉取某个Excel文件。
利用StreamSet提供的Ftp客户端组件，进行ftp连接。
配置 如下：
Resource URL: ftp://192.168.1.100/abc/2018/0103/
File Name Pattern: 447965a864094208aa6d6d3c90bf71ef.xls
Authentication: password
Username :webmote
Password:xxx
Data Format:Excel
Excel Header Option:with Header Line
2、解析Excel
第一节的数据格式，已经标明了怎样解析文件。支持的文件列表如下：
解析的数据进行扁平化操作。
该组件可以使嵌套数据，扁平化，变化方式如下：
{
"contact": {
"name": "Jane Smith",
"id": "557",
"address": {
"home": {
"street": "101 3rd St",
"city": "Huntsville",
"state": "NC",
"zipcode": "27023"
},
"work": {
"street": "15 Main St",
"city": "Jonestown",
"state": "NC",
"zipcode": "27011"
}
}
}
}
扁平化以后：
{
"contact": {
"name": "Jane Smith",
"id": "10342",
"address": {
"home.street": "34 2nd St",
"home.city": "Wilma",
"home.state": "OH",
"home.zipcode": "33333",
"work.street": "15 Main St",
"work.city": "Jonestown",
"work.state": "OH",
"work.zipcode": "55555"
}
}
}
3、修改映射列
利用该组件修改映射关系。
例如配置如下替换：
结果如下：
4、处理后的数据执行
5、结语
StreamSet提供了一个灵活的输入输出处理，为我们处理具体问题提供了很多可能。