2021SC@SDUSC
目录
三、CTC model VS attention model
一、前情回顾和背景介绍
1.1 PP-OCR文字识别策略回顾
策略的选用主要是用来增强模型能力和减少模型大小。下面是PP-OCR文字识别器所采用的九种策略：
- 轻主干，选用采用 MobileNetV3 large x0.5 来权衡精度和效率；
- 数据增强，BDA (Base Dataaugmented)和TIA (Luo et al. 2020)；
- 余弦学习率衰减，有效提高模型的文本识别能力；
- 特征图辨析，适应多语言识别，进行向下采样 feature map的步幅修改；
- 正则化参数，权值衰减避免过拟合；
- 学习率预热，同样有效；
- 轻头部，采用全连接层将序列特征编码为预测字符，减小模型大小；
- 预训练模型，是在 ImageNet 这样的大数据集上训练的，可以达到更快的收敛和更好的精度；
- PACT量化，略过 LSTM 层；
1.2 CRNN-CTC模型概述
CRNN-CTC 使用CTC model识别图片中单行英文字符，用于端到端的文本行图片识别方法。
识别图片中单行英文字符，可以使用CTC model和attention model两种不同的模型来完成该任务。
这两种模型的有相同的编码部分，首先采用卷积将图片转为特征图, 然后使用im2sequence op将特征图转为序列，通过双向GRU学习到序列特征。
两种模型的解码部分和使用的损失函数区别如下：
- CTC model: 训练过程选用的损失函数为CTC(Connectionist Temporal Classification) loss, 预测阶段采用的是贪婪策略和CTC解码策略。
- Attention model: 训练过程选用的是带注意力机制的解码策略和交叉信息熵损失函数，预测阶段采用的是柱搜索策略。
二、CRNN-CTC模型策略详解
2.1 模型流程
代码结构
├── data_reader.py # 下载、读取、处理数据。
├── crnn_ctc_model.py # 定义了OCR CTC model的网络结构。
├── attention_model.py # 定义了OCR attention model的网络结构。
├── train.py # 用于模型的训练。
├── infer.py # 加载训练好的模型文件，对新数据进行预测。
├── eval.py # 评估模型在指定数据集上的效果。
└── utils.py # 定义通用的函数。数据
数据的下载和简单预处理都在data_reader.py中实现。
数据示例
使用的训练和测试数据如图1所示，每张图片包含单行不定长的英文字符串，这些图片都是经过检测算法进行预框选处理的。
数据准备
训练集准备
把所有参与训练的图片放入同一个文件夹，暂且记为train_images。然后用一个list文件存放每张图片的信息，包括图片大小、图片名称和对应的label，这里暂记该list文件为train_list。
最终文件结构组织如下：
|-train_data
|- train_list
|- train_imags
|- 00508_0215.jpg
|- 00197_1893.jpg
|- 00007_0219.jpg
| ...测试集和评估集
测试集、评估集的准备方式与训练集相同。 在训练时，测试集的路径通过train.py的选项--test_images 和 --test_list 来设置。 在评估时，评估集的路径通过eval.py的选项--input_images_dir 和--input_images_list 来设置。
待预测数据集
预测支持三种形式的输入：
第一种：设置--input_images_dir和--input_images_list, 与训练集类似, 只不过list文件中的最后一列可以放任意占位字符或字符串。
第二种：仅设置--input_images_list, 其中list文件中只需放图片的完整路径，如下所示：
data/test_images/00000.jpg
data/test_images/00001.jpg
data/test_images/00003.jpg第三种：从stdin读入一张图片的path，然后进行一次inference。
模型训练
图2为使用默认参数在默认数据集上训练CTC model的收敛曲线，其中横坐标轴为训练迭代次数，纵轴为样本级错误率。其中，蓝线为训练集上的样本错误率，红线为测试集上的样本错误率。
相比于CTC model，attention model的收敛曲线如下：
测试
通过以下命令调用评估脚本用指定数据集对模型进行评估：
env CUDA_VISIBLE_DEVICES=0 python eval.py \
--model_path="./models/model_0" \
--input_images_dir="./eval_data/images/" \
--input_images_list="./eval_data/eval_list"三、CTC model VS attention model
预测
1.从标准输入读取一张图片的路径，并对其进行预测：
env CUDA_VISIBLE_DEVICES=0 python infer.py \
--model_path="models/model_00044_15000"2.从文件中批量读取图片路径，并对其进行预测：
env CUDA_VISIBLE_DEVICES=0 python infer.py \
--model_path="models/model_00044_15000" \
--input_images_list="data/test.list"预训练模型
| 模型 | 错误率 |
CTC model |
22.3% |
attention model |
15.8% |
总结
今天对PP-OCR的CRNN－CTC和Attention模型进行进行了整个实现流程的介绍，并比较了两个模型实现单行中英文语句的识别效率。