20180528早课记录19-Hadoop

1.yarn的进程哪两个?

NodeManager,ResourceManager

2.rm进程包含哪两个?

Applications Master, Resource Scheduler

3.容器什么单词? 是在NM节点上还是RM节点?

container, 在NM节点

4.内存参数和CPU参数 能记得几个?假如让你们去官网搜,你们会知道以什么关键词搜搜吗

yarn.nodemanager.resource.memory-mb
yarn.scheduler.minimum-allocation-mb
yarn.scheduler.maximum-allocation-mb
yarn.scheduler.minimum-allocation-vcores
yarn.scheduler.maximum-allocation-vcores

5.作业程序的am是运行在nm节点的容器里吗?

是的

6.谈谈你们现阶段对shuffle的理解

shuffle是洗牌的意思 含义是按key进行分组

7.那么我们提交一个wordcount到yarn,那么那些log日志,仔细看看,其中有一步是spilt,那么一般和什么有关

和块大小有关

8.yarn杀死job的命令是什么

yarn application -kill jobid

9.hdfs一个文件130M,副本为3,请问多少块? 实际存储空间多少

6个块 390M

10.hdfs读写流程和yarn的作业工作流程自己想想,是否会?脑子是否有图?

理解还不够全面

11.一般企业里,DN和NM节点部署在同一台机器上,是为什么?(思考题)

数据本地化

猜你喜欢

转载自blog.51cto.com/10814168/2120994