EAST-icdar.py-get_batch

前言

今天是model的最后一部分了，整个icdar就剩最后这一段了，前面自定义部分也在前面的部分中大多数带到了。

代码

def get_batch(num_workers, **kwargs):
    #**kwargs：形参中按照关键字传值把多余的传值以字典的方式呈现
    '''
    在实现按批次处理？？
    将各张图片以三个对象压人队列信息进行处理（内部主要实现了多线程，并没有具体处理？？）
    :param num_workers:
    :param kwargs:
    :return:
    '''
    try:
        enqueuer = GeneratorEnqueuer(generator(**kwargs), use_multiprocessing=True)
        #传入的第一个参数为迭代器
        enqueuer.start(max_queue_size=24, workers=num_workers)
        generator_output = None
        while True:
            while enqueuer.is_running():
                if not enqueuer.queue.empty():
                    generator_output = enqueuer.queue.get()
                    #put放进去 get拿出来
                    #拿到处理图片的某一进程
                    break
                else:
                    time.sleep(0.01)
            yield generator_output
            generator_output = None
    finally:
        #finally块的作用就是为了保证无论出现什么情况，finally块里的代码一定会被执行。
        #结束进程
        if enqueuer is not None:
            enqueuer.stop()

作用

利用多线程生成数据：当CPU读取数据跟不上GPU处理数据速度时候可以考虑这种方式，这种方法的好处是数据接口简单而且可以大幅加快网络训练时间。特别是针对服务器端超多核CPU配置。实验证实，该方法可以大大提升GPU的利用率。这段的代码主要是一个：batch生成器。至于GeneratorEnqueuer的定义直接调用的现成的：

from data_util import GeneratorEnqueuer

网上也有自定义的版本，而关于batch生成器的定义也是大同小异。