Exemple de déploiement Python du modèle FastDeploy UIE : GPU, dépendances d'installation de la version du processeur

Exemple de déploiement Python du modèle FastDeploy UIE

Avant le déploiement, installez le SDK FastDeploy Python en vous référant à la documentation d'installation du SDK FastDeploy .

Ce répertoire fournit infer.pydes exemples de déploiement Python pour effectuer rapidement des tâches générales de classification de texte sur CPU/GPU.

0. Installation de la bibliothèque précompilée FastDeploy

FastDeploy fournit des bibliothèques précompilées pour chaque plate-forme que les développeurs peuvent télécharger et installer directement. Bien entendu, la compilation FastDeploy est également très simple et les développeurs peuvent également compiler FastDeploy en fonction de leurs propres besoins.

Environnement de déploiement 0.1GPU

0.1.1 Exigences environnementales

• CUDA >= 11.2
• cuDNN >= 8.0
• Python >= 3.6
• Système d'exploitation : Linux (x64)/Windows 10 (x64)

Prend en charge le déploiement du CPU et du GPU Nvidia, intègre l'inférence Paddle, ONNX Runtime, OpenVINO et le backend de raisonnement TensorRT par défaut, le module de modèle visuel Vision, le module de modèle Text Text NLP

Informations sur la version : inférence de palette2.4-dev5，ONNXRuntime1.12.0，OpenVINO2022.2.0.dev20220829，TensorRT8.5