关于大数据这些工具框架

接触大数据的这两年来，总是被各种琳琅满目的框架工具目不暇接。在这个大数据这个生态圈里，具体的框架工具都有自己的应用场景或不足之处，用来解决特定的问题。技术选型的时候要结合业务特点。没有包治百病，一劳永逸的方案。

1.Hadoop，大数据的鼻祖和基础。 解决存储（HDFS）和计算（MapReduce）。数据运行在磁盘上决定适合批处理任务，实时性低的场景。 NameNode和DataNode， 主从模式。
2.Storm，数据运行在内存中，适合流处理，实时性高场景，缺点不灵活，预先知道统计方式。Spout和Bolt，主从模式。
3.Spark，解决Hadoop运行速度问题，数据运行在内存中。但实时性上还是不如Storm。内存管理依赖JVM。趋势是根据Spark特点独自管理内存。
4.HBase适合数据仓库，实时性不好。 HMaster和Region server。主从模式。
5.Cassendra适合实时性要求比较高的场景，去中心化模式。
6.Mongo文档型KV存储，数据量规模“中等”，数据以Bson格式类似Json格式
7.Hive解决MR难于开发，以sql的方式直观简单易写易改的特点，不过速度慢
8.Pig是接近脚本方式去描述MapReduce
9.Phenix，Impala，Presto，Drill解决NoSQl数据库交互查询场景，牺牲稳定性通用性获取速度，底层HDFS，上面跑MapReduce/Tez/Spark，再上面跑Hive，Pig。或者HDFS上直接跑Impala，Drill，Presto。这解决了中低速数据处理的要求
10.Mahout是分布式机器学习库
11.Protobuf是数据交换的编码和库
12.ZooKeeper是高一致性的分布存取协同系统
13.Flume日志处理工具