Hadoop项目简介

Apache Hadoop项目简介 

Core---- 一系列分布式文件系统和通用I/O的组件和接口(序列化、Java RPC和持久化数据结构)

Avro---- 一种提供高效、跨语言PRC的数据序列化系统,持久化数据存储。

MapReduce----分布式数据处理模式和执行环境,运行于大型商用机集群;

HDFS----分布式文件系统,运行于大型商用机集群;

ZooKeeper----一个分布式的、高可用性的协调服务;

Pig---- 一种数据流语言和运行环境,用以检索非常大的数据集,运行在MapReduce和HDFS集群上;

Chukwa------ 分布式数据收集和分析系统;

Hive--- 分布式数据仓库,Hive管理HDFS中存储的数据,并提供基于SQL的查询语言用以查询数据;

Hbase---- -一个分布式的、列存储数据库。HBase使用HDFS作为底层存储,同时支持MapReduce的批量式计算和点查询。

 

其中MapReduce和HDFS是Hadoop的核心

猜你喜欢

转载自cfyme.iteye.com/blog/2208060
今日推荐