Spark2.11 Executor的启动注册和执行任务的流程

一、当master在接收到RegisterApplication消息后会向worker发送LaunchDriver和LaunchExecutor消息来分别启动Driver和Executor。实际上这里启动Executor是指的启动CoarseGrainedExecutorBackend进程，而Executor只是CoarseGrainedExecutorBackend的内部的对象。

二、实际上Driver(例：StandaloneSchedulerBackend)内部包含两个通信实体Endpoint：

a)、ClientEndpoint：主要负责向Master注册当前程序，是APPClient的内部成员；

b)、DriverEndpoint：这是整个程序运行时候的驱动器，是CoarseGrainedSchedulerBackend的内部成员！！！

三、当CoarseGrainedExecutorBackend进程启动后会向CoarseGrainedSchedulerBackend的通信实体DriverEndpoint发送RegisterExecutor消息注册给Driver，Driver会返回一个RegisteredExecutor消息给CoarseGrainedExecutorBackend表明已经注册成功，这里的注册就是指CoarseGrainedSchedulerBackend利用内部成员executorDataMap记录Executor的消息而已。

四、在CoarseGrainedExecutorBackend接收到RegisteredExecutor消息后会创建其内部成员executor

而executor内部有一个后台线程池，用于处理任务task

五、当CoarseGrainedExecutorBackend接收到LaunchTask消息后先反序列化任务封装为taskDesc会调用executor对象的launchTask方法，然后会封装成TaskRunner对象，TaskRunner实现了Runnable接口，在run方法中执行task.run方法，最后调用runTask方法。