Exemple de déploiement Python du modèle FastDeploy UIE
Avant le déploiement, installez le SDK FastDeploy Python en vous référant à la documentation d'installation du SDK FastDeploy .
Ce répertoire fournit infer.py
des exemples de déploiement Python pour effectuer rapidement des tâches générales de classification de texte sur CPU/GPU.
0. Installation de la bibliothèque précompilée FastDeploy
FastDeploy fournit des bibliothèques précompilées pour chaque plate-forme que les développeurs peuvent télécharger et installer directement. Bien entendu, la compilation FastDeploy est également très simple et les développeurs peuvent également compiler FastDeploy en fonction de leurs propres besoins.
Environnement de déploiement 0.1GPU
0.1.1 Exigences environnementales
- CUDA >= 11.2
- cuDNN >= 8.0
- Python >= 3.6
- Système d'exploitation : Linux (x64)/Windows 10 (x64)
Prend en charge le déploiement du CPU et du GPU Nvidia, intègre l'inférence Paddle, ONNX Runtime, OpenVINO et le backend de raisonnement TensorRT par défaut, le module de modèle visuel Vision, le module de modèle Text Text NLP
Informations sur la version : inférence de palette2.4-dev5,ONNXRuntime1.12.0,OpenVINO2022.2.0.dev20220829,TensorRT8.5