工作中刚好遇到有关NiFi的应用,索性就学习了一下,我把我在工作中遇到的问题,简单记录下:
场景是:数据存储在本地Mongodb,需要通过NiFi提交给大数据系统,并保存在hive中,并能用saprk做分析。
NiFi目前网上的帖子不多,我就把我认为需要注意的地方,简单记录下,这个帖子,我会持续优化,以期日臻完善。
==========================================================================================
配置mongodb,需要添加GetMongo的processor。
其中的配置项需要注意:
我在配置的时候,我认为需要注意的地方:
一、本地Mongodb,务必确认配置文件mongod.cfg中的监听,是否添加了本地真实ip?配置好后记得重启Mongo服务。
二、本地主机,(windows)防火墙是否关闭了,否则有可能hadoop环境无法连接到主机
三、GetMongo中的配置,Mongo URI, 指定好相应的本机ip即可。
四、详细配置说明,应该去看官方说明文档,我附上链接: