Flask+gunicorn部署深度学习报错gunicorn: error: argument -b: invalid int value ‘0.0.0.0:8000‘

Flask+gunicorn部署深度学习报错gunicorn: error: argument -b: invalid int value ‘0.0.0.0:8000’

项目场景：

将客户端的请求经由Web服务器转发给Flask程序实例，调用Pytorch深度学习模型。
为了实现并发，采用 gunicorn 来部署Flask服务。

具体调用代码可参考以下两个博文。
第一篇博文介绍Flask实现Web服务调用Pytorch深度学习模型实现手写数字识别。
第二篇博文介绍采用gunicorn实现Web服务调用的多并发。

Flask实现Web服务调用Python程序
Flask+gunicorn实现web服务并发调用Python程序，解决多线程/多进程问题

---

问题描述：

模型和框架都部署好后，采用如下指令启动服务：

gunicorn -w 5 -b 0.0.0.0:8000 main:app

出现报错：

gunicorn: error: argument -b: invalid int value '0.0.0.0:8000'

---

原因分析：

博主尝试了逐行定位，发现问题主要存在于深度学习模型代码中的环境参数与gunicorn有冲突。因此在使用时务必注意：

gunicorn与args命令行参数共用会报错！！！

---

解决方案：

以Pytorch实现cifar-100分类深度学习模型为例，以下是模型 test.py 的代码：

import argparse

from matplotlib import pyplot as plt

import torch
import torchvision.transforms as transforms
from torch.utils.data import DataLoader

from conf import settings
from utils import get_network, get_test_dataloader

if __name__ == '__main__':

    parser = argparse.ArgumentParser()
    parser.add_argument('-net', type=str, required=True, help='net type')
    parser.add_argument('-weights', type=str, required=True, help='the weights file you want to test')
    parser.add_argument('-gpu', action='store_true', default=False, help='use gpu or not')
    parser.add_argument('-b', type=int, default=16, help='batch size for dataloader')
    args = parser.parse_args()

    net = get_network(args)

    cifar100_test_loader = get_test_dataloader(
        settings.CIFAR100_TRAIN_MEAN,
        settings.CIFAR100_TRAIN_STD,
        #settings.CIFAR100_PATH,
        num_workers=4,
        batch_size=args.b,
    )

    net.load_state_dict(torch.load(args.weights))
    print(net)
    net.eval()

    correct_1 = 0.0
    correct_5 = 0.0
    total = 0

    with torch.no_grad():
        for n_iter, (image, label) in enumerate(cifar100_test_loader):
            print("iteration: {}\ttotal {} iterations".format(n_iter + 1, len(cifar100_test_loader)))

            if args.gpu:
                image = image.cuda()
                label = label.cuda()
                print('GPU INFO.....')
                print(torch.cuda.memory_summary(), end='')


            output = net(image)
            _, pred = output.topk(5, 1, largest=True, sorted=True)

            label = label.view(label.size(0), -1).expand_as(pred)
            correct = pred.eq(label).float()

            #compute top 5
            correct_5 += correct[:, :5].sum()

            #compute top1
            correct_1 += correct[:, :1].sum()

    if args.gpu:
        print('GPU INFO.....')
        print(torch.cuda.memory_summary(), end='')

    print()
    print("Top 1 err: ", 1 - correct_1 / len(cifar100_test_loader.dataset))
    print("Top 5 err: ", 1 - correct_5 / len(cifar100_test_loader.dataset))
    print("Parameter numbers: {}".format(sum(p.numel() for p in net.parameters())))

由于gunicorn与args命令行参数共用会报错，因此我们需要把19行作如下修改：

args = parser.parse_args() 改为 args = parser.parse_args(args=[])

---

这个坑确实很隐蔽，望避免~