NIFI 设计流程总结

版权声明:by zhangchengk https://blog.csdn.net/weixin_36048246/article/details/88419289

细水流从,慢慢总结

1:越简单,越高效

    核心流程设计一定要简单直接,NIFI每个Processor之间都有数据落地,如果说你的流程设计复杂,而流经这复杂逻辑流程的数据量又很大,那你的数据流会慢,你的NIFI资源占用会高,环境也会不稳定。

2:大数据流经NIFI,流速要快,处理时间要短

    有时候没办法,有很大的数据需要流经NIFI,那么流程设计上要尽量让数据快速流过,轻易不要加处理逻辑,只起到一个搬运的动作。

    比如,很多人都在做从传统数据库(MySQL .etc.)移动数据到大数据处理(Hive  Gp...),这时要做的不是select from Mysql,然后insert into HIVE,如果你选择这么做,数据量不多估算1T,总量不过十几亿的数据,就得有你几周的时间忙活了。这时要明白,瓶颈在哪!通常写入速度是最大的瓶颈,这么大的数据量使用传统的数据装载方式,肯定不行。所以,写文件!通过外部表的方式装载数据!

猜你喜欢

转载自blog.csdn.net/weixin_36048246/article/details/88419289