hadoop知识点(常见问题)整理——待更新完善

1.HDFS读写流程
2.namenode的启动过程
3.HDFS不适合存储小文件,如果生成场景中还必须将这些小文件进行存储(比如,每天产生的日志,数据量很小,但是必须存储)
4.什么情况下会进入安全模式,安全模式的解决办法
5.说一下HDFS的可靠性策略
6.HDFS的优缺点
7.datanode宕机后,集群能否立即将宕机的datanode下线,datanode下线后,集群将进行什么工作。
8.HDFS的设计思想
9.namenode的工作职责,datanode的工作职责
10.将一个集群重新格式化namenode后,使用start-dfs.sh启动集群,datanode能启动起来么?为什么?
11.MR的shuffle流程
12.job提交流程
13.如何控制MapTask数量,如何控制ReduceTask数量
14.现块的大小为128M,现在有一文件大小为260M,进行spilt的时候,会被分成几片
15.列举MR中可干预的组件(详细说明各组件的原理,ps:combine)
16.两个类TextInputFormat和KeyValueInputFormat的区别是什么?
17.分片与分块的区别?
18.AppMaster是属于yarn的进程还是属于MR的进程,AppMaster的生命周期,AppMaster的工作内容
19.resourceManager的工作职责
20.NodeManager的工作职责
21.zookeeper的应用场景
22.阐述zookeeper分布式锁的实现原理

猜你喜欢

转载自blog.csdn.net/weixin_42741866/article/details/84564089