paddleocr学习笔记(六)C++推理

参考:\PaddleOCR\deploy\cpp_infer\readme.md

服务器端C++预测

本章节介绍PaddleOCR 模型的的C++部署方法,与之对应的python预测部署方式参考文档。 C++在性能计算上优于python,因此,在大多数CPU、GPU部署场景,多采用C++的部署方式,本节将介绍如何在Linux\Windows (CPU\GPU)环境下配置C++环境并完成 PaddleOCR模型部署。

1. 准备环境

运行准备

  • Linux环境,推荐使用docker。
  • Windows环境,目前支持基于Visual Studio 2019 Community进行编译。
  • 该文档主要介绍基于Linux环境的PaddleOCR C++预测流程,如果需要在Windows下基于预测库进行C++预测,具体编译方法请参考Windows下编译教程

Visual Studio 2019 Community CMake 编译指南

PaddleOCR在Windows 平台下基于Visual Studio 2019 Community 进行了测试。微软从Visual Studio 2017开始即支持直接管理CMake跨平台编译项目,但是直到2019才提供了稳定和完全的支持,所以如果你想使用CMake管理项目编译构建,我们推荐你使用Visual Studio 2019环境下构建。

前置条件

请确保系统已经安装好上述基本软件,我们使用的是VS2019的社区版。

下面所有示例以工作目录为 D:\projects演示

    • Visual Studio 2019
    • CUDA 9.0 / CUDA 10.0,cudnn 7+ (仅在使用GPU版本的预测库时需要)
    • CMake 3.0+

Step1: 下载PaddlePaddle C++ 预测库 fluid_inference

PaddlePaddle C++ 预测库针对不同的CPUCUDA版本提供了不同的预编译版本,请根据实际情况下载: c++预测库下载列表(这个里面的2.0是错的,下载下来是1.8.3)

c++预测库下载列表 (这个里面2.0是对的)

解压后D:\projects\fluid_inference目录包含内容为:

fluid_inference
├── paddle # paddle核心库和头文件
|
├── third_party # 第三方依赖库和头文件
|
└── version.txt # 版本和编译信息

Step2: 安装配置OpenCV

  1. 在OpenCV官网下载适用于Windows平台的3.4.6版本, 下载地址
  2. 运行下载的可执行文件,将OpenCV解压至指定目录,如D:\projects\opencv
  3. 配置环境变量,如下流程所示 
    • 我的电脑->属性->高级系统设置->环境变量
    • 在系统变量中找到Path(如没有,自行创建),并双击编辑
    • 新建,将opencv路径填入并保存,如D:\projects\opencv\build\x64\vc14\bin

Step3: 使用Visual Studio 2019直接编译CMake

  1. 打开Visual Studio 2019 Community,点击继续但无需代码 
  1.  step2
  2. 点击: 文件->打开->CMake step21

选择项目代码所在路径,并打开CMakeList.txt

step22

  1. 点击:项目->cpp_inference_demo的CMake设置

step3

  1. 点击浏览,分别设置编译选项指定CUDACUDNN_LIBOpenCVPaddle预测库的路径

三个编译参数的含义说明如下(带*表示仅在使用GPU版本预测库时指定, 其中CUDA库版本尽量对齐,使用9.0、10.0版本,不使用9.2、10.1等版本CUDA库):

参数名 含义
*CUDA_LIB CUDA的库路径
*CUDNN_LIB CUDNN的库路径
OPENCV_DIR OpenCV的安装路径
PADDLE_LIB Paddle预测库的路径

注意:

  1. 使用CPU版预测库,请把WITH_GPU的勾去掉
  2. 如果使用的是openblas版本,请把WITH_MKL勾去掉

step4

设置完成后, 点击上图中保存并生成CMake缓存以加载变量

  1. 点击生成->全部生成

step6

Step4: 预测及可视化

上述Visual Studio 2019编译产出的可执行文件在out\build\x64-Release目录下,打开cmd,并切换到该目录:

cd D:\projects\PaddleOCR\deploy\cpp_infer\out\build\x64-Release

可执行文件ocr_system.exe即为样例的预测程序,其主要使用方法如下

#预测图片 `D:\projects\PaddleOCR\doc\imgs\10.jpg`  
.\ocr_system.exe D:\projects\PaddleOCR\deploy\cpp_infer\tools\config.txt D:\projects\PaddleOCR\doc\imgs\10.jpg

第一个参数为配置文件路径,第二个参数为需要预测的图片路径。

注意

  • 在Windows下的终端中执行文件exe时,可能会发生乱码的现象,此时需要在终端中输入CHCP 65001,将终端的编码方式由GBK编码(默认)改为UTF-8编码,更加具体的解释可以参考这篇博客:https://blog.csdn.net/qq_35038153/article/details/78430359

上面是官方文档的说明,其中关于推理库下载路径是错的,我已经更正过来了。下面是我自己的操作。

我自己的操作:

新建文件夹 build-pd2,进入文件夹,shift+右键,“在此处打开Powershell窗口”,然后命令:

 cmake-gui ..

启动cmake-gui界面,后面配置一下编译器和依赖库路径就可以生成项目了。

注意替换前面自己训练的模型看看能不能用起来。

官方模型效果:

自己用icdar2015的1000张自然场景训练的模型效果,此处的重点不是看效果重点是自己训练的模型使用推理库运行起来了,所以下面就可以自己训练模型了:

猜你喜欢

转载自blog.csdn.net/juluwangriyue/article/details/114179952