1 什么是yarn
Yarn是Hadoop2.0中的资源管理系统，它的基本设计思想是将MRv1中的JobTracker拆分成了两个独立的服务：一个全局的资源管理器ResourceManager和每个应用程序特有的ApplicationMaster，其中ResourceManager负责整个系统的资源管理和分配，而ApplicationMaster负责单个应用程序的管理。
Yarn主要由ResouceManager，NodeManager,ApplicationMaster,Container等几个组件构成。
Yarn总体上还是master/slave架构，ResourceManager是master,NodeManager是slave。ResourceManager负责对各个NodeManager上的资源进行统一的调度和管理。当用户提交一个应用程序时，需要提供一个用以跟踪和管理这个应用程序的ApplicationMaster，它负责向ResourceManager申请资源，并要求NodeManager启动可以占用一定资源的任务。由于不同的ApplicationMaster被分布到不同的节点上，因此，他们之间不会互相影响。
YARN作为一个资源调度器，应该考虑到集群里面每一台机子的计算资源，然后根据application申请的资源进行分配Container。Container是YARN里面资源分配的基本单位，具有一定的内存以及CPU资源，是资源的抽象。
在YARN集群中，平衡内存、CPU、磁盘的资源的很重要的，根据经验，每两个container使用一块磁盘以及一个CPU核的时候可以使集群的资源得到一个比较好的利用。
生产推荐
a 内存配置
举例说明
如一台机器的内存为48G，那么
25%留给Linux及其它程序 12G
75%给大数据进程 36G ->
datanode: 4G
(修改文件 hadoop-env.sh，添加
export HADOOP_DATANODE_OPTS="-Xms4096m -Xmx4096m $HADOOP_DATANODE_OPTS"
Xms是最小内存
Xmx是最大内存
设置好后，重启生效
)
nodemanager: 2G
(修改文件yarn_env.sh,添加
YARN_OPTS="$YARN_OPTS -Xms2048m -Xmx2048m"
重启生效)
正常情况下，计算nodemanager与存储datanode都是部署在同一个节点上。数据本地化。不用走网络拉数据。
一共还剩下30G是给容器的
内存参数配置:
yarn.nodemanager.resource.memory-mb 30G
yarn.scheduler.minimum-allocation-mb (容器 最小) 2G
yarn.scheduler.maximum-allocation-mb (容器 最大) 30G
限制容器参数，如果超出则杀死进程
yarn.nodemanager.pmem-check-enabled true
yarn.nodemanager.vmem-check-enabled true
pmem:物理内存
vmem:虚拟内存
默认是true
yarn.nodemanager.vmem-pmem-ratio 2.1
物理内存：虚拟内存 = 2.1
b CPU配置
yarn上面有个vcore的概念，这是虚拟core，是yarn引入的新概念，这是考虑到不同机器的CPU的计算能力不同。一般在spark中使用。
正常情况下 1 core : 2 vcore
举例：
如果有8个core ————》 16个vcore
那么我们预留2core ----> 4vcore
剩下的6core ---->12vcore给yarn
那么参数配置为
yarn.nodemanager.resource.cpu-vcores 12
yarn.scheduler.minimum-allocation-vcores 1
yarn.scheduler.maximum-allocation-vcores 12
更详细的参数调优请参考：
http://blog.itpub.net/30089851/viewspace-2127851/