最近要开发一套全新的数据采集系统,(不知道当初为什么不选择开源的进行二次开发,现在想想估计当时脑袋秀逗了。不过也好,本人也喜欢挑战)在开发过程中遇到一些问题,所以学习一下nifi, 参考一下nifi找找灵感!
nifi简介:
一个易于使用、功能强大、可靠的系统来处理和分发数据。
nifi 特点:
Apache NiFi支持功能强大且可伸缩的数据路由、转换和系统中介逻辑定向图。Apache NiFi的一些高级功能和目标包括:
- Web-based user interface
- Seamless experience between design, control, feedback, and monitoring
- 设计、控制、反馈和监控之间的无缝体验
- Highly configurable
- Loss tolerant vs guaranteed delivery
- 容忍损失vs保证交付
- Low latency vs high throughput
- 低延迟vs高吞吐量
- Dynamic prioritization
- 动态优先级
- Flow can be modified at runtime
- 可以在运行时修改流
- Back pressure
- 背压
- Data Provenance
- Track dataflow from beginning to end
-
跟踪数据流从头到尾
- Designed for extension
- Build your own processors and more
- 构建自己的处理器等等
- Enables rapid development and effective testing
- 使快速开发和有效测试成为可能
- Secure
- SSL, SSH, HTTPS, encrypted content, etc...
- Multi-tenant authorization and internal authorization/policy management
- 多租户授权和内部授权/策略管理