(一).HDFS的文件写入过程是什么，请按照步骤写出来。
1、 client发起文件上传请求，通过RPC与NameNode建立通讯，NameNode检查目标文件是否已存在，父目录是否存在，返回是否可以上传；
2、 client请求第一个block该传输到哪些DataNode服务器上；
3、 NameNode根据配置文件中指定的备份数量及机架感知原理进行文件分配，返回可用的DataNode的地址如：A，B，C；
注：Hadoop在设计时考虑到数据的安全与高效，数据文件默认在HDFS上存放三份，存储策略为本地一份，同机架内其它某一节点上一份，不同机架的某一节点上一份。
4、 client请求3台DataNode中的一台A上传数据（本质上是一个RPC调用，建立pipeline），A收到请求会继续调用B，然后B调用C，将整个pipeline建立完成，后逐级返回client；
5、 client开始往A上传第一个block（先从磁盘读取数据放到一个本地内存缓存），以packet为单位（默认64K），A收到一个packet就会传给B，B传给C；A每传一个packet会放入一个应答队列等待应答。
6、 数据被分割成一个个packet数据包在pipeline上依次传输，在pipeline反方向上，逐个发送ack（命令正确应答），最终由pipeline中第一个DataNode节点A将pipelineack发送给client;
7、 当一个block传输完成之后，client再次请求NameNode上传第二个block到服务器。
(二).mapReduce编程模型分为哪八个步骤，请用简洁的语言写出来。
MapReduce的开发一共有八个步骤其中map阶段分为2个步骤，shuffle阶段4个步骤，reduce阶段分为2个步骤。
Map阶段2个步骤
第一步：设置inputFormat类，将我们的数据切分成key，value对，输入到第二步
第二步：自定义map逻辑，处理我们第一步的输入数据，然后转换成新的key，value对进行输出
shuffle阶段4个步骤
第三步：对输出的key，value对进行分区
第四步：对不同分区的数据按照相同的key进行排序
第五步：对分组后的数据进行规约(combine操作)，降低数据的网络拷贝
第六步：对排序后的额数据进行分组，分组的过程中，将相同key的value放到一个集合当中
reduce阶段2个步骤
第七步：对多个map的任务进行合并，排序，写reduce函数自己的逻辑，对输入的key，value对进行处理，转换成新的key，value对进行输出
第八步：设置outputformat将输出的key，value对数据进行保存到文件中
(三).关于YARN的运行流程，请写出步骤。
1.client 向 RM 提交应用程序，其中包括启动该应用的 ApplicationMaster 的必须信息，例如 ApplicationMaster 程序、启动 ApplicationMaster 的命令、用户程序等。
2.ResourceManager 启动一个 container 用于运行 ApplicationMaster。
3.启动中的 ApplicationMaster 向 ResourceManager 注册自己，启动成功后与 RM 保持心跳。
4.ApplicationMaster 向 ResourceManager 发送请求，申请相应数目的 container。
5.ResourceManager 返回 ApplicationMaster 的申请的 containers 信息。申请成功的container，由 ApplicationMaster 进行初始化。container 的启动信息初始化后，AM与对应的 NodeManager 通信，要求 NM 启动 container。AM 与 NM 保持心跳，从而对 NM上运行的任务进行监控和管理。
6.container 运行期间，ApplicationMaster 对 container 进行监控。container 通过 RPC协议向对应的 AM 汇报自己的进度和状态等信息。
7.应用运行期间，client 直接与 AM 通信获取应用的状态、进度更新等信息。
8.应用运行结束后，ApplicationMaster 向 ResourceManager 注销自己，并允许属于它的container 被收回。
(四).shuffle阶段你怎么理解的？
MapReduce确保每个reducer的输入都是按键排序的，系统执行排序的过程称为shuffle。我们可以理解为map产生输出到reduce的消化输入的整个工程。
Map端：每个mapperTask有一个环形内存缓冲区，用于存储map任务的输出，一旦达到阈值，一个后台线程把内容写到磁盘的指定目录下的新建的一个溢出写文件，写磁盘前要经过partition、sort、Combiner。等最后记录写完，合并全部溢出写文件为一个分区且排序的文件。
Reduce端：可以分为复制阶段、排序阶段、reduce阶段
复制阶段：map输出文件位于运行map任务的tasktracker的本地磁盘上，reduce通过http的方式获取输出文件的分区，tasktracker为分区文件运行reduce任务，只要有一个map任务完成，reduce任务就开始复制输出。
排序阶段：更恰当的说法是合并阶段，因为排序是在map端进行的。这个阶段将合并map输出，维持其顺序排序，循环进行。
最后阶段就是reduce阶段，对已排序输出中的每个键调用reduce函数，此阶段的输出直接写到输出文件系统，一般为hdfs
(五).Hive 中包含哪些数据模型？
database：在HDFS 中表现为${hive.metastore.warehouse.dir}目录下一个文件夹
table：在HDFS中表现所属 database 目录下一个文件夹
external table：与table 类似，不过其数据存放位置可以指定任意 HDFS 目录路径
partition：在HDFS 中表现为 table 目录下的子目录
bucket：在HDFS 中表现为同一个表目录或者分区目录下根据某个字段的值进行 hash 散列之后的多个文件
view：与传统数据库类似，只读，基于基本表创建