hadoop job推测执行

 

什么是推测执行?

所谓的推测执行,就是当所有task都开始运行之后,Job Tracker会统计所有任务的平均进度,如果某个task所在的task node机器配置比较低或者CPU load很高(原因很多),导致任务执行比总体任务的平均执行要慢,此时Job Tracker会启动一个新的任务(duplicate task),原有任务和新任务哪个先执行完就把另外一个kill掉

 

怎么配置推测执行参数?

推测执行需要设置Job的两个参数:
    mapred.map.tasks.speculative.execution
    mapred.reduce.tasks.speculative.execution
两个参数的默认值均为true.

 

推测执行调度策略是什么?

推测执行逻辑:
// 1. Check bottom up for speculative tasks from the running cache
// 2. Check breadth-wise for speculative tasks
// 3. Check non-local tips for speculation
关键逻辑比较执行时间超过平均task执行时间某个百分比,定位为需要推测执行的job
//SPECULATIVE_GAP =0.2
(averageProgress - progress >= SPECULATIVE_GAP ) && (currentTime - startTime >= SPECULATIVE_LAG
 
P.s. 看源码的时候看到调度map task的策略,故记下。
JobInProgress添加新的maptask的调度策略
// When scheduling a map task:
//  0) Schedule a failed task without considering locality
//  1) Schedule non-running tasks
//  2) Schedule speculative tasks
//  3) Schedule tasks with no location information
map task调度策略:
1、失败的task,不考虑地点
2、没跑过的task
3、推测执行的task
4、nonLocalRunningMaps中的task
 
 

 

猜你喜欢

转载自essen.iteye.com/blog/1844007