大数据介绍

大数据是什么？

大数据（BigData）：指无法再一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

大数据数据存储单位

大数据的特点

Volume（大量）：截至目前，人类生产的所有印刷材料的数据量是200PB，而历史上全人类总共说过的话的数据量大约是5EB。当前，典型个人计算机硬盘的容量为TB量级，而一些大企业的数据量已经接近EB量级。
Velocity （高速）：这是大数据区分于传统数据挖掘的最显著特征。根据IDC的“数字宇宙”的报告，预计到2020年，全球数据使用量将达到35.2ZB。在如此海量的数据面前，处理数据的效率就是企业的生命。
Variety （多样）：这种类型的多样性也让数据被分为结构化数据和非结构化数据。相对于以往便于存储的以数据库/文本为主的结构化数据，非结构化数据越来越多，包括网络日志、音频、视频、图片、地理位置信息等，这些多类型的数据对数据的处理能力提出了更高要求。
Value （低价值密度）：价值密度的高低与数据总量的大小成反比。如何快速对有价值数据“提纯”成为目前大数据背景下待解决的难题。

大数据技术生态体系

Hadoop介绍

Hadoop是什么？

Hadoop是一个由Apache基金会所开发的一个分布式系统基础架构。
主要解决，海量数据的存储和海量数据的分析计算问题。
广义上说，Hadoop通常是指一个更广泛的概念--Hadoop生态圈

Hadoop发展历史

Lucene框架时Doug Cutting开创的开源软件，用java书写代码，实现与Google类似的全文搜索功能，它提供了全文检索引擎的架构，包括完整的查询引擎和索引引擎。 2001年年底，Lucene成为Apache基金会的一个子项目对于海量数据的场景，Lucene面对与Google同样的困难，存储数据困难，检索速度慢可以说，Google是Hadoop的思想之源（Google在大数据方面的三篇论文）

GFS ---> HDFS
MapReduce ---> MR
BigTable ---> HBase

2003-2004年，Google公开了部分GFS和MapReduce的思想的细节，以此为基础Doug Cuting等人用了2年业余时间实现了DFS和MapReduce机制，使Nutch性能飙升。

2005年，Hadoop作为Lucene的子项目Nutch的一部分正式引入Apache基金会

2006年3月份，MapReduce和Nutch Distributed File System （NDFS）分别被纳入称为Hadoop的项目中

Hadoop的名字来源于Doug Cutting儿子的玩具大象

Hadoop就此诞生并迅速发展，标志着大数据时代的来临

Hadoop三大发行版本

Apache、Cloudera、Hortonworks

Apache：最原始的版本，对入门学习最好
Cloudera：在大型互联网企业中用的较多，产品叫 CDH
Hortonworks：文档较好，比Cloudera晚两年出来

Hadoop的优势

高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元素或存储出现故障，也不会导致数据的丢失。
高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。
高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处理速度。
高容错性：能够自动将失败的任务重新分配。

Hadoop1.x与Hadoop2.x的区别

HDFS概述

NameNode：存储文件的元数据，如文件名，文件目录结构，文件属性，以及每个文件的块列表和块所在的DataNode等
DataNode：在本地文件系统存储文件块数据，以及块数据的校验和
Secondary NameNode：用来监控HDFS状态的辅助后台程序，每个一段时间获取HDFS元数据的快照

Hadoop学习笔记（一）：Hadoop及大数据基本了解