Yarn使用

点击左侧Cluster->Scheduler查看队列使用情况,使用内存和CUP,查看队列中running 的任务

查看任务状态->点击右侧ApplicationMaster  ActiveJob是正在跑的一段sql,下面是已经完成的

点击Description进去查看详情   (一段sql划分成了不同的stage)

进入Active Stages

查看到stage的任务分布到不同节点状况 可见有的 0ms完成  有的几分钟(甚至有时0ms和一两个小时)  。这种不均衡的就是倾斜的了

猜你喜欢

转载自blog.csdn.net/someInNeed/article/details/118483870