ThreadPoolExecutor分析

前言:ThreadPoolExecutor其实是利用其内部类Worker来开拓多线程,每一个Worker就是一个线程,而Worker的run方法,也就是Worker的工作就是就是从队列中拿取线程,并直接执行其run方法,而不是start方法,原因也很简单,worker已经是并行启动了,里面执行的操作是串行才合理

首先,看看ThreadPoolExecutor中的一些属性(组件)

  • corePoolSize:核心线程数

  • maximumPoolSize:最大线程数
    这是线程池的数量,状态等状态标识
    (这是线程池的数量,状态等状态标识)

  • workQueue:这是一个BlockingQueue阻塞队列,存放着将执行的线程队列

  • workers:这是一个HashSet集合,存放的是worker对象,worker对象是当前正在执行的线程对象

Worker

Worker是ThreadPoolExecutor的一个私用内部类,并且这个类是实现了Runnable接口的,这代表着这很可能也是一个线程来运行。

  • 实际上,Worker是线程池中真正的工作线程,我们创建的每个线程实际上是通过worker对象来执行的,在我们通过线程池的exectute去执行一个任务的时候,最终是将这个任务封装到worker对象里,
    并执行woker对象的start方法,也就是开启线程,而在这个线程的run方法里(woker类的run),去直接执行外部传进来的run,而不是start

下面直接从execute方法来进行分析,注意,以下贴出的代码都只是主要逻辑,其中CAS算法保证线程安全的部分都没有贴出来

public void execute(Runnable command) {
    if (command == null)
        throw new NullPointerException();
    int c = ctl.get();  // 获取当前正在执行的线程数
    if (workerCountOf(c) < corePoolSize) {  
        // 如果当前工作线程数少于核心线程,则直接添加(再开启一个工作线程)
        if (addWorker(command, true))
            return;
        c = ctl.get();
    }
    // 如果目前工作线程已经达到了设置的核心线程数,则尝试将任务添加进阻塞对列中进行等待
    if (isRunning(c) && workQueue.offer(command)) {
        int recheck = ctl.get();
        if (! isRunning(recheck) && remove(command))
            reject(command);
        else if (workerCountOf(recheck) == 0)
            addWorker(null, false);
    }
    // 如果线程不再运行了,又或者队列插入失败了,则直接再次addWorker(主要针对队列插入失败这一情况,addWork的布尔值设置为false代表试试能不能开启最大的工作线程数,说不定刚好有一个),在addWorker里面也会进行判断线程池的工作状态,所以如果失败了就会执行reject方法,也就是拒绝执行的相应逻辑
    else if (!addWorker(command, false))
        reject(command);
}

第12行到到第18行的逻辑在这里主要讲讲:
很明显的,如果上面执行成功了,不会执行到这里,所以,也就是说,当前工作线程数已经大于核心线程数,有可能还没超过最大线程数时,就会去尝试插入到对列中,如果插入成功了,还要再判断一下线程状态,在第16行中,判断此时工作线程数是不是为0了,如果为0 可以直接addWorker了,在addWoker会根据条件从队列中取出来的,所以这里注意是addWoker一个null。

下面来看addWoker这个方法

private boolean addWorker(Runnable firstTask, boolean core) {
    retry:
    for (;;) {
        int c = ctl.get();
        int rs = runStateOf(c);

        // Check if queue empty only if necessary.
        if (rs >= SHUTDOWN &&
            ! (rs == SHUTDOWN &&
               firstTask == null &&
               ! workQueue.isEmpty()))
            return false;

        for (;;) {
            int wc = workerCountOf(c);
            if (wc >= CAPACITY ||
                wc >= (core ? corePoolSize : maximumPoolSize))
                return false;
            if (compareAndIncrementWorkerCount(c))
                break retry;
            c = ctl.get();  // Re-read ctl
            if (runStateOf(c) != rs)
                continue retry;
            // else CAS failed due to workerCount change; retry inner loop
        }
    }

    boolean workerStarted = false;
    boolean workerAdded = false;
    Worker w = null;
    // 主要从这里开始看(上面是进行线程池状态的判断,如果能来到这一步就表示可以添加工作线程)
    try {
        // 根据传进来的任务创建一个woker
        w = new Worker(firstTask);
        final Thread t = w.thread;
        if (t != null) {
            final ReentrantLock mainLock = this.mainLock;
            mainLock.lock();
            try {
                // Recheck while holding lock.
                // Back out on ThreadFactory failure or if
                // shut down before lock acquired.
                int rs = runStateOf(ctl.get());

                if (rs < SHUTDOWN ||
                    (rs == SHUTDOWN && firstTask == null)) {
                    if (t.isAlive()) // precheck that t is startable
                        throw new IllegalThreadStateException();
                    workers.add(w);
                    int s = workers.size();
                    if (s > largestPoolSize)
                        largestPoolSize = s;
                    workerAdded = true;
                }
            } finally {
                mainLock.unlock();
            }
            if (workerAdded) {
                // 将工作线程启动
                t.start();
                workerStarted = true;
            }
        }
    } finally {
        if (! workerStarted)
            addWorkerFailed(w);
    }
    return workerStarted;
}

addWork主要的逻辑就是将传进来的任务(Runnable对象)封装到一个新的工作线程中,并启动这个工作线程。
这里送上一幅图
在这里插入图片描述
(摘自https://crossoverjie.top/2019/05/20/concurrent/threadpool-01/)

Worker的run方法直接执行runWorker方法

final void runWorker(Worker w) {
    Thread wt = Thread.currentThread();
    Runnable task = w.firstTask;
    w.firstTask = null;
    w.unlock(); // allow interrupts
    boolean completedAbruptly = true;
    try {
        // 这里会循环调用getTask()方法从等待队列中拿到任务
        while (task != null || (task = getTask()) != null) {
            // 加锁,避免多次重复调用
            w.lock();
            // If pool is stopping, ensure thread is interrupted;
            // if not, ensure thread is not interrupted.  This
            // requires a recheck in second case to deal with
            // shutdownNow race while clearing interrupt
            if ((runStateAtLeast(ctl.get(), STOP) ||
                 (Thread.interrupted() &&
                  runStateAtLeast(ctl.get(), STOP))) &&
                !wt.isInterrupted())
                wt.interrupt();
            try {
                // 前置增强
                beforeExecute(wt, task);
                Throwable thrown = null;
                try {
                    // 直接执行run方法,而不是start,因为这已经是线程里面了
                    task.run();
                } catch (RuntimeException x) {
                    thrown = x; throw x;
                } catch (Error x) {
                    thrown = x; throw x;
                } catch (Throwable x) {
                    thrown = x; throw new Error(x);
                } finally {
                    // 后置增强
                    afterExecute(task, thrown);
                }
            } finally {
                task = null;
                w.completedTasks++;
                w.unlock();
            }
        }
        completedAbruptly = false;
    } finally {
        // 如果执行到这个方法,说明while循环已经执行完毕,也就是说明这个工作线程的使命结束了。
        processWorkerExit(w, completedAbruptly);
    }
}

下面对getTask()方法和processWorkerExit()方法进行分析
getTask():从阻塞队列中获取任务

private Runnable getTask() {
    boolean timedOut = false; // Did the last poll() time out?

    for (;;) {
        int c = ctl.get();
        int rs = runStateOf(c);

        // Check if queue empty only if necessary.
        if (rs >= SHUTDOWN && (rs >= STOP || workQueue.isEmpty())) {
            decrementWorkerCount();
            return null;
        }

        int wc = workerCountOf(c);

        // Are workers subject to culling?
        boolean timed = allowCoreThreadTimeOut || wc > corePoolSize;

        if ((wc > maximumPoolSize || (timed && timedOut))
            && (wc > 1 || workQueue.isEmpty())) {
            if (compareAndDecrementWorkerCount(c))
                return null;
            continue;
        }

        try {
            Runnable r = timed ?
                workQueue.poll(keepAliveTime, TimeUnit.NANOSECONDS) :
                workQueue.take();
            if (r != null)
                return r;
            timedOut = true;
        } catch (InterruptedException retry) {
            timedOut = false;
        }
    }
}

这段代码的主要逻辑是在第28,29行,这两行会根据实际需要获得队列中的任务,其中poll方法是可以根据设定的时间等待获取,如果超时仍然获取不到,就返回null,而take则是一直等待。
注意,这里还需要关注一下第19行,现在设想一个场景,所有工作线程都执行完任务了,且队列中没有新的任务,而且此时工作线程数还是大于核心线程数的,所以此时就需要将这个工作线程给关闭,此时就需要执行processWorkerExit方法,这个方法等下讲,先知道其会关闭线程,在runWork这个方法中,是通过while不断地去从队列中拿数据的,所以只要返回null,就可以跳出这个while循环,而第19行的判断就是如果大于核心线程且队列为空,则返回null(通过 (timed && timedOut))&& (wc > 1 || workQueue.isEmpty()))来判断。

processWorkerExit():关闭当前工作线程,并执行相应的保护机制

private void processWorkerExit(Worker w, boolean completedAbruptly) {
    if (completedAbruptly) // If abrupt, then workerCount wasn't adjusted
        decrementWorkerCount();

    final ReentrantLock mainLock = this.mainLock;
    mainLock.lock();
    try {
        completedTaskCount += w.completedTasks;
        // set集合去除掉这个工作线程
        workers.remove(w);
    } finally {
        mainLock.unlock();
    }
    // 关闭当前工作线程
    tryTerminate();

    int c = ctl.get();
    if (runStateLessThan(c, STOP)) {
        if (!completedAbruptly) {
            int min = allowCoreThreadTimeOut ? 0 : corePoolSize;
            if (min == 0 && ! workQueue.isEmpty())
                min = 1;
            if (workerCountOf(c) >= min)
                return; // replacement not needed
        }
        // 如果当前工作线程数少于核心线程数,保持有核心线程数量的工作线程在执行,设置任务为null,是让这个工作线程直接从队列中获取任务
        addWorker(null, false);
    }
}

总结:

我们的任务是封装到一个工作线程里的,如果我们的线程执行完了,那么这个工作线程就会从等待队列里面拿出线程。而新的工作线程的创建是在队列插入失败,并且当前工作线程数还没有达到最大线程数时,就会创建一个新的工作线程。
如果已经没有任务了,而工作线程却大于核心线程数时,就比如核心线程数时3,最大线程数时5,如果此时已最大线程数跑完所有的任务了,线程池会自动缩容到3,并阻塞等待。这是在processWorkerExit内实现的。
如果我们的放入线程池的任务抛出异常了,那么这个工作线程worker会被回收,并开启一个新的worker来进行执行任务。

如果想要更加了解线程池,可以自己去debug源码或者去看这篇文章
https://crossoverjie.top/2019/05/20/concurrent/threadpool-01/

发布了25 篇原创文章 · 获赞 9 · 访问量 6633

猜你喜欢

转载自blog.csdn.net/qq_40233503/article/details/95977025