关于Hadoop
- hadoop是一个分布式系统基础架构
- 主要用来解决海量数据的存储和海量数据的分析计算问题
- 广义上来讲，hadoop通常是指一个更广泛的概念——hadoop生态圈
版本
- Apache Hadoop
最早发行的 - dkhadoop
适合新手使用，简单易上手 - Cloudera Hadoop（CDH）
完全开源，比Apache hadoop在兼容性，安全性，稳定性上有增强。 - hortonworks
主打产品是Hortonworks Data Platform (HDP)，同样开源，安装方便，HDP 包括一个现代化的，直观的用户界面的安装和配置工具。
特点
hadoop 是一个开源的，可靠的，可扩展的，分布式 计算软件。
reliable(可靠的)：稳定性好，即使某些节点损坏，也能保证存储的数据不丢失
scalable(可扩展的)：轻松增加新的服务器，实现扩容
distributed(分布式)：有许多功能不同的节点组成（master 和 slave）,多个节点执行不同的功能
高效：在MapReduce的思想下，hadoop是并行工作的，以加快任务的处理速度
高容错性：能够自动将失败的任务重新分配(当某一节点挂掉后，会自动将任务分配给其他节点执行)
分布式和集群的区别和关系
集群（cluster）：多个节点执行相同的功能
分布式（distributed）：多个节点执行不同的功能
分布式由集群组成，集群中的每一台计算机叫做节点
Hadoop的组成
- MapReduce（计算）
- yarn（资源调度）
- HDFS（数据存储）
- Common（各种辅助工具）
Ps : 这些东西都是当初学习大数据的时候，自己做的笔记。现在分享出来希望能给有需要的人带来帮助。
