Hadoop
狭义:hadoop软件 hadoop.apache.org
广义:hadoop生态圈(hive zookeeper spark)
版本
用2.x
3.x 需要踩坑
主要用CDH5.x 部署大数据环境
用的是 hadoop2.6.0-cdh5.7.0
baidu : cdh tar
ctrl + f 搜索 cdh5.7.0
hadoop组件
hdfs : 存储 分布式文件系统
mapreduce:计算
yarn:资源(CPU和内存)和作业调度
狭义:hadoop软件 hadoop.apache.org
广义:hadoop生态圈(hive zookeeper spark)
用2.x
3.x 需要踩坑
主要用CDH5.x 部署大数据环境
用的是 hadoop2.6.0-cdh5.7.0
baidu : cdh tar
ctrl + f 搜索 cdh5.7.0
hdfs : 存储 分布式文件系统
mapreduce:计算
yarn:资源(CPU和内存)和作业调度