1.hdfs实现目标
兼容廉价的硬件设备
实现数据流的读写
支持大数据集
支持简单的文件模型
强大的跨平台特性
2.HDFS的局限性
不适合低延迟数据访问
无法高效储存大量小文件
不支持多用户写入
3.块的概念(整个HDFS最核心的概念)
支持面向大规模数据储存
降低分布式节点的寻址开销
好处:
支持大规模文件存储
简化系统设计
适合数据备份
4.HDFS的存储原理
副本策略
第一个节点放在一个机架上面
第二个节点放在另一个机架的节点上
第三个副本放在同一个机架的最近节点上
名称节点出错:第二人称节点冷备份恢复
数据节点出错:数据节点远程调用发送心跳,当出现宕机,复制正常备份
数据出错:(校验码),冗余的再次恢复