대형 모델 - MobileSAM의 Onnxruntime cpp 배포

소개하다

이 프로젝트의 목표는 런타임 시 Python에 종속되지 않고 Segment Anything 및 MobileSAM을 위한 순수한 C++ 추론 API를 만드는 것입니다. 코드 저장소에는 인터페이스를 다른 프로젝트에 쉽게 통합할 수 있는 테스트가 포함된 C++ 라이브러리가 포함되어 있습니다.

Intel Xeon W-2145 CPU(16스레드)를 사용하여 얻은 모델 로딩 시간은 약 10~1초, 단일 추론에는 약 20밀리초가 소요됩니다. 런타임 시 인터페이스는 CPU에서 실행되는 경우 약 6GB 또는 1GB의 메모리를 소비하고, CUDA에서 실행되는 경우 16GB 또는 1GB의 메모리를 소비할 수 있습니다. 여기서 "또는"은 "Segment Anything" 또는 "MobileSAM"의 값을 나타냅니다.

환경

  • 우분투 18.04
  • Opencv4.6
  • Onnxruntime-gpu 1.12.1

ONNX 모델 준비

mobile_sam.onnx 참고

추천

출처blog.csdn.net/weixin_42990464/article/details/132806620