hadoop生态圈
主要从hdfs底层存储，hbase数据库，hive数据仓库，flume收集，Kafka缓存，zookeeper分布式协调服务，spark大数据分析，sqoop数据互转
hdfs分布式文件系统，高容错的特点，可以部署在廉价的硬件上，设计目标：检查和快速修复硬件故障；流式访问；简化一致性模型，一次写入，多次读取；通信协议建立在TCP/IP协议之上
hive是基于hadoop的数据仓库，用于hadoop文件中的数据集整理，特殊查询，分析存储工具，查询语言是HQL.hive会将HQL语句编译成一组mapreduce任务。
hbase是分布式面向列的开源数据库。不同于一般的关系数据库：适合非结构化数据存储；基于列而不是基于行的模式。hbase表是输送的，用户可以定义各种不同的列。主要用于随机访问，实时读写的大数据。
pig 是一个对大型数据集进行分析评估的平台。
ZooKeeper 是一个开源的分布式协调服务，由雅虎创建，是 Google Chubby 的开源实现。分布式应用程序可以基于 ZooKeeper 实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master 选举、分布式锁和分布式队列等功能。
hdfs和mapreduce是hadoop的两大核心
hdfs上传文件的流程
Client向NameNode发起文件写入的请求。
NameNode根据文件大小和文件块配置情况，返回给Client它所管理部分DataNode的信息。
Client将文件划分为多个Block，根据DataNode的地址信息，按顺序写入到每一个DataNode块中。
hdfs文件读取流程
Client向namenode发起文件读取请求
namenode返回文件存储的datanode信息
Client读取文件信息
HDFS
采用Master-Slaver模式：
NameNode中心服务器（Master）:维护文件系统树、以及整棵树内的文件目录、负责整个数据集群的管理。
DataNode分布在不同的机架上（Slaver）：在客户端或者NameNode的调度下，存储并检索数据块，并且定期向NameNode发送所存储的数据块的列表。
客户端与NameNode获取元数据；
与DataNode交互获取数据。
默认情况下，每个DataNode都保存了3个副本，其中两个保存在同一个机架的两个不同的节点上。另一个副本放在不同机架上的节点上。
基本概念
机架：HDFS集群，由分布在多个机架上的大量DataNode组成，不同机架之间节点通过交换机通信，HDFS通过机架感知策略，使NameNode能够确定每个DataNode所属的机架ID，使用副本存放策略，来改进数据的可靠性、可用性和网络带宽的利用率。
数据块(block)：HDFS最基本的存储单元，默认为64M，用户可以自行设置大小。
元数据：指HDFS文件系统中，文件和目录的属性信息。HDFS实现时，采用了 镜像文件（Fsimage） + 日志文件（EditLog）的备份机制。文件的镜像文件中内容包括：修改时间、访问时间、数据块大小、组成文件的数据块的存储位置信息。目录的镜像文件内容包括：修改时间、访问控制权限等信息。日志文件记录的是：HDFS的更新操作。
NameNode启动的时候，会将镜像文件和日志文件的内容在内存中合并。把内存中的元数据更新到最新状态。
用户数据：HDFS存储的大部分都是用户数据，以数据块的形式存放在DataNode上。
在HDFS中，NameNode 和 DataNode之间使用TCP协议进行通信。DataNode每3s向NameNode发送一个心跳。每10次心跳后，向NameNode发送一个数据块报告自己的信息，通过这些信息，NameNode能够重建元数据，并确保每个数据块有足够的副本。
NameNode 不需要从磁盘读取 metadata，所有数据都在内存中，硬盘上的只是序列化的结果，只有每次 namenode 启动的时候才会读取。
检查hdfs指定目录下的区块是否正常
hdfs fsck / -locations -blocks -files
dfsadmin 命令用于管理HDFS集群，这些命令常用于管理员。
集群信息状态报告以及集群资源占用情况，以及各数据节点信息
hadoop dfsadmin -report 或者 hdfs dfsadmin -report
添加或删除数据节点
hadoop dfsadmin -refreshNodes 或者 hdfs dfsadmin -refreshNodes
打印网络拓扑
hadoop dfsadmin -printTopology 或者 hdfs dfsadmin -printTopology
- [hadoop@master bin]$ ./hdfs dfsadmin -safemode enter #进入Safemode模式
- [hadoop@master bin]$ ./hdfs dfsadmin -safemode get #获取当前运行模式
- [hadoop@master bin]$ ./hdfs dfsadmin -safemode leave #退出Safemode模式
- [hadoop@master bin]$ hadoop dfsadmin -report #当前hadoop集群状态信息
- [hadoop@master bin]$ ./hdfs dfsadmin -refreshNodes #新增删除节点更新集群信息
- [hadoop@master sbin]$ ./hadoop-daemon.sh stop datanode #停止单个数据节点
- [hadoop@master ~]$ hadoop dfsadmin -printTopology <span style="white-space: pre;"> </span> #打印集群网络拓扑
hbase的数据管理
类似于bigtable的分布式数据库，是一个稀疏的.长期存储的.多维度的排序映射表，表的索引是行关键字，列关键字，时间戳。表是纯字符串，没有类型。用户在表格中存储数据，每一行都有一个可排序的主键和任意多的列。列的字段格式是<family>:<label> ；每个表有一个family集合，相当于表的结构。
hbase把同一个family的数据存储在同一个目录下，hbase写操作是锁行的；数据库每次更新都有一个时间戳，每次都会生成一个新的版本，保留的版本数量可以设定。
hbase主要靠hregion,hmaster.hclient组成的体系结构从整体上管理数据
HBase的服务器体系结构遵循简单的主从服务器架构，它由HRegion服务器（HRegion Server）群和HBase Master服务器（HBase Master Server)构成。HBase Master服务器负责管理所有的HRegion服务器，而HBase中所有的服务器都是通过ZooKeeper来进行协调，并处理HBase服务器运行期间可能遇到的错误。HBase Master Server本身不存储HBase中的任何数据，HBase逻辑上的表可能会被划分为多个HRegion，然后存储到HRegion Server群中，HBase Master Server中存储的是从数据到HRegion Server中的映射。
每台HRegion服务器都会和HMaster服务器通信，HMaster的主要任务就是要告诉每台HRegion服务器它要维护哪些HRegion。
当一台新的HRegion服务器登录到HMaster服务器时，HMaster会告诉它先等待分配数据。而当一台HRegion死机时，HMaster会把它负责的HRegion标记为未分配，然后再把它们分配到其他HRegion服务器中。
HRegionServer主要负责响应用户I/O请求，向HDFS文件系统中读写数据，是HBase中最核心的模块。
所有的数据库数据一般是保存在Hadoop分布式文件系统上面的，用户通过一系列HRegion服务器来获取这些数据，一台机器上面一般只运行一个HRegion服务器，且每一个区段的HRegion也只会被一个HRegion服务器维护。
当用户需要更新数据的时候，他会被分配到对应的HRegion服务器上提交修改，这些修改显示被写到Hmemcache（内存中的缓存，保存最近更新的数据）缓存和服务器的Hlog（磁盘上面的记录文件，他记录着所有的更新操作）文件里面。在操作写入Hlog之后，commit()调用才会将其返回给客户端。
在读取数据的时候，HRegion服务器会先访问Hmemcache缓存，如果缓存里没有改数据，才会回到Hstores磁盘上面寻找，每一个列族都会有一个HStore集合，每一个HStore集合包含很多HstoreFile文件
当表的大小超过设置值的是偶，HBase会自动地将表划分为不同的区域，每个区域包含所有行的一个子集。对用户来说，每个表是一堆数据的集合，靠主键来区分。从物理上来说，一张表被拆分成了多块，每一块就是一个HRegion。我们用表名+开始/结束主键来区分每一个HRegion，一个HRegion会保存一个表里某段连续的数据，从开始主键到结束主键，一张完整的表是保存在多个HRegion上面的。
宽依赖：父RDD的分区被子RDD的多个分区使用 例如 groupByKey、reduceByKey、sortByKey等操作会产生宽依赖，会产生shuffle
窄依赖：父RDD的每个分区都只被子RDD的一个分区使用 例如map、filter、union等操作会产生窄依赖
-------------------------
hadoop 的集群是基于 master/slave 模式，namenode 和 jobtracker 属于 master，datanode 和 tasktracker属于 slave，master 只有一个，而 slave 有多个。SecondaryNameNode 内存需求和 NameNode 在一个数量级上，所以通常 secondary NameNode（运行在单独的物理机器上）和 NameNode 运行在不同的机器上。
JobTracker 和 TaskTracker
JobTracker 对应于 NameNode
TaskTracker 对应于 DataNode
DataNode 和 NameNode 是针对数据存放来而言的
JobTracker 和 TaskTracker 是对于 MapReduce 执行而言的
mapreduce 中几个主要概念，mapreduce 整体上可以分为这么几条执行线索：
jobclient，JobTracker 与 TaskTracker。
1、JobClient 会在用户端通过 JobClient 类将应用已经配置参数打包成 jar 文件存储到 hdfs，并把路径提交到 Jobtracker,然后由 JobTracker 创建每一个 Task（即 MapTask 和 ReduceTask）并将它们分发到各个 TaskTracker 服务中去执行
2、JobTracker 是一个 master 服务，软件启动之后 JobTracker 接收 Job，负责调度 Job 的每一个子任务 task运行于 TaskTracker 上，并监控它们，如果发现有失败的 task 就重新运行它。一般情况应该把 JobTracker 部署在单独的机器上。
3、TaskTracker 是运行在多个节点上的 slaver 服务。TaskTracker 主动与 JobTracker 通信，接收作业，并负责直接执行每一个任务。TaskTracker 都需要运行在 HDFS 的 DataNode 上
由于大数据面临海量数据，读写数据都需要 io，然后还要冗余数据，hadoop 一般备 3 份数据，所以 IO就会打折扣。因此IO是集群的最大瓶颈
【Active Namenode】：主 Master（只有一个），管理 HDFS 的名称空间，管理数据块映射信息；配置副本策略；处理客户端读写请求
【Secondary NameNode】：NameNode 的热备；定期合并 fsimage 和 fsedits，推送给 NameNode；当 Active NameNode 出现故障时，快速切换为新的 Active NameNode。
【Datanode】：Slave（有多个）；存储实际的数据块；执行数据块读 / 写
【Client】：与 NameNode 交互，获取文件位置信息；与 DataNode 交互，读取或者写入数据；管理 HDFS、访问 HDFS。
LSM树全称是基于日志结构的合并树（Log-Structured Merge-Tree）。No-SQL数据库一般采用LSM树作为数据结构，HBase也不例外。众所周知，RDBMS一般采用B+树作为索引的数据结构
LSM树可以看成n层合并树。在HBase中，它把随机写转换成对memstore和hfile的连续写
数据写（插入，更新）：数据首先顺序写如hlog (WAL), 然后写到MemStore, 在MemStore中，数据是一个2层B+树(图2中的C0树）。MemStore满了之后，数据会被刷到storefile (hFile)，在storefile中，数据是3层B+树（图2中的C1树），并针对顺序磁盘操作进行优化。
数据读：首先搜索MemStore,如果不在MemStore中，则到storefile中寻找。
数据删除：不会去删除磁盘上的数据，而是为数据添加一个删除标记。在随后的major compaction中，被删除的数据和删除标记才会真的被删除。
LSM数据更新只在内存中操作，没有磁盘访问，因此比B+树要快。对于数据读来说，如果读取的是最近访问过的数据，LSM树能减少磁盘访问，提高性能。
Slave 节点要存储数据,磁盘越大，存储的数据量越大，越难恢复
hadoop的进程名称
一个task对应一个线程
jps显示当前所有java进程pid的命令
查看job
[root@host ~]# hadoop job -list
删除job
hadoop job -kill jobid
删除一个目录：
hadoop fs -rmr /tmp/aaa
添加新节点：
hadoop -daemon.sh start datanode
hadoop -daemon.sh start tasktracker
移除一个节点：
hadoop mradmin -refreshnodes
hadoop dfsadmin -refreshnodes
3个datanode中有一个datanode出现错误，这个datanode的数据会在其他的datanode上重新做备份。
namenode 宕机：先分析宕机后的损失，宕机后直接导致client无法访问，内存中的元数据丢失，但是硬盘中的元数据应该还存在，如果只是节点挂了，重启即可，如果是机器挂了，重启机器后看节点是否能重启，不能重启就要找到原因修复了。启用secondary NameNode
# -d 参数判断 $folder 是否存在
if [ ! -d "$folder"]; then
mkdir "$folder"
fi
# -f 参数判断 $file 是否存在
if [ ! -f "$file" ]; then
touch "$file"
fi
在hadoop中文件的压缩好处:少占空间，传输会更快
生产环境中建议使用外部表：
1、因为外部表不会加载数据到hive，减少数据传输、数据还能共享。
2、hive不会修改数据，所以无需担心数据的损坏
3、删除表时，只删除表结构、不删除数据。
Hive里面用什么代替in查询
Hive中的left semi join替换sql中的in操作
HBase的检索支持3种方式：
（1） 通过单个Rowkey访问，即按照某个Rowkey键值进行get操作，这样获取唯一一条记录；
（2） 通过Rowkey的range进行scan，即通过设置startRowKey和endRowKey，在这个范围内进行扫描。这样可以按指定的条件获取一批记录；
（3） 全表扫描，即直接扫描整张表中所有行记录。
数据库的三大范式
所谓第一范式（1NF）是指数据库表的每一列都是不可分割的基本数据项，同一列中不能有多个值，即实体中的某个属性不能有多个值或者不能有重复的属性。
第二范式（2NF）是在第一范式（1NF）的基础上建立起来的，即满足第二范式（2NF）必须先满足第一范式（1NF）。第二范式（2NF）要求数据库表中的每个实例或行必须可以被惟一地区分。第二范式（2NF）要求实体的属性完全依赖于主关键字。
满足第三范式（3NF）必须先满足第二范式（2NF）。简而言之，第三范式（3NF）要求一个数据库表中不包含已在其它表中已包含的非主关键字信息。