如何部署一个英中/中英翻译模型接口并调用
在这篇博客中,我们将探讨如何利用Hugging Face上的预训练模型,部署一个简单的翻译服务,实现从英文到中文以及从中文到英文的翻译。这个过程涉及到设置一个FastAPI服务器,以及如何从客户端调用该服务。
模型来源:
下载使用模型时仅需如图文件即可
环境配置
首先,我们需要准备Python环境,并安装以下依赖:
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple uvicorn==0.27.1 fastapi==0.109.2 sacremoses==0.1.1 sentencepiece==0.2.0 transformers==4.32.0
这些依赖包括FastAPI用于创建Web服务,Uvicorn作为ASGI服务器,以及Transformers库来加载和使用翻译模型。
服务器端设置
服务器端代码如下:
from fastapi import FastAPI, Request
import uvicorn
app = FastAPI()
# 初始化函数,加载模型和分词器
def init_opus():
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
model_path