1、数据能存下来,hdfs(分布式文件系统)
2、能进行资源调度 yarn
3、能对存下来的大数据进行计算,mapreduce(多个硬盘同时处理)
4、更灵活更快的计算框架 spark sparksql
5、简化map reduce的开发, hive(使用sql的数据仓库)
6、机器学习 Mahout
7、实时处理 storm(缺点是只能处理事先定好的数据和逻辑)
基本架构:hdfs+yarn spark hive mahout
1、数据能存下来,hdfs(分布式文件系统)
2、能进行资源调度 yarn
3、能对存下来的大数据进行计算,mapreduce(多个硬盘同时处理)
4、更灵活更快的计算框架 spark sparksql
5、简化map reduce的开发, hive(使用sql的数据仓库)
6、机器学习 Mahout
7、实时处理 storm(缺点是只能处理事先定好的数据和逻辑)
基本架构:hdfs+yarn spark hive mahout