构建与部署英中/中英翻译API:使用FastAPI和Hugging Face 模型

如何部署一个英中/中英翻译模型接口并调用

在这篇博客中,我们将探讨如何利用Hugging Face上的预训练模型,部署一个简单的翻译服务,实现从英文到中文以及从中文到英文的翻译。这个过程涉及到设置一个FastAPI服务器,以及如何从客户端调用该服务。

模型来源:

下载使用模型时仅需如图文件即可
模型文件

环境配置

首先,我们需要准备Python环境,并安装以下依赖:

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple uvicorn==0.27.1 fastapi==0.109.2 sacremoses==0.1.1 sentencepiece==0.2.0 transformers==4.32.0

这些依赖包括FastAPI用于创建Web服务,Uvicorn作为ASGI服务器,以及Transformers库来加载和使用翻译模型。

服务器端设置

服务器端代码如下:

from fastapi import FastAPI, Request
import uvicorn

app = FastAPI()

# 初始化函数,加载模型和分词器
def init_opus():
    from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
    model_path