Grand modèle – Déploiement cpp Onnxruntime de MobileSAM

introduire

Ce projet vise à créer une API d'inférence C++ pure pour Segment Anything et MobileSAM, sans dépendance sur Python au moment de l'exécution. Le référentiel de code contient une bibliothèque C++ avec des tests pour faciliter l'intégration facile de l'interface dans d'autres projets.

Le chargement du modèle prend environ 10 ou 1 seconde, et une seule inférence prend environ 20 millisecondes, obtenues à l'aide d'un processeur Intel Xeon W-2145 (16 threads). Au moment de l'exécution, l'interface peut consommer environ 6 Go ou 1 Go de mémoire si elle est exécutée sur un processeur, ou 16 Go ou 1 Go de mémoire si elle est exécutée sur CUDA. Le « ou » représente ici la valeur de « Segment Anything » ou « MobileSAM ».

environnement

• Ubuntu 18.04
• Ouvrircv4.6
• Onnxruntime-gpu 1.12.1

Préparation du modèle ONNX

référence mobile_sam.onnx