目录
1、前言
我们用相机拍照时，会因为角度问题造成拍歪，会影响图像的识别，这时就需要对图像进行校正，下面介绍校正图像的一种方式，可以用来校正简单的图像，如文字信息、工件等。
校正的过程可以分为以下几步：
1、转灰度图。
2、降噪。
3、Canny边缘检测。
4、膨胀。
5、轮廓检索。
6、从各个轮廓中选取合适的旋转角度并校正图像。
总体的思路是获取图像中各个特征的轮廓旋转角度，从中选取合适的角度让原图像进行逆旋转，达到校准目的。
方法参考：https://blog.csdn.net/DU_YULIN/article/details/120504660
2、例程
2.1、代码
#include <opencv2/core.hpp>
#include <opencv2/imgcodecs.hpp>
#include <opencv2/highgui.hpp>
#include <opencv2/imgproc.hpp>
#include <iostream>
using namespace cv;
using namespace std;
int main() {
Mat src = imread("./test5.jpg");
imshow("src", src);
/* 转灰度图 */
Mat gray;
cvtColor(src, gray, COLOR_BGR2GRAY);
imshow("gray", gray);
/* 高斯模糊降噪，避免环境中的花纹影响边缘检测 */
Mat blur;
GaussianBlur(gray, blur, Size(5, 5), 1.0);
imshow("gaussianBlur", blur);
/* Canny边缘检测 */
Mat canny;
Canny(blur, canny, 20, 100);
imshow("canny", canny);
/* 膨胀两次，膨胀是为了让文字连到一块，轮廓数，提高效率，可以按需求调整膨胀的大小 */
Mat kernel = getStructuringElement(MORPH_RECT, Size(4, 2));
Mat expand;
dilate(canny, expand, kernel, Point(-1, -1), 2);
imshow("dialate", expand);
/* 检索轮廓 */
vector<vector<Point>> contours;
findContours(expand, contours, RETR_EXTERNAL, CHAIN_APPROX_NONE);
/* 对各个轮廓的旋转角度进行排序 */
std::vector<float> vecAngles;
for (int i = 0; i < contours.size(); i++) {
RotatedRect rr = minAreaRect(contours[i]);
vecAngles.push_back(rr.angle);
}
std::sort(vecAngles.begin(), vecAngles.end());
/* 以中间值为基准，取相差20%以内的角度的平均值作为结果 */
float midIndex = int(vecAngles.size() / 2) - 1;
float midAngle = vecAngles[midIndex];
float maxAngleThreshold = midAngle > 0 ? midAngle - 15 : midAngle + 15;
float minAngleThreshold = midAngle > 0 ? midAngle + 15 : midAngle - 15;
float angleSum = 0;
int angleCounter = 0;
cout << "maxAngleThreshold:" << maxAngleThreshold << endl;
cout << "minAngleThreshold:" << minAngleThreshold << endl;
for (auto angle : vecAngles) {
cout << angle << endl;
if (angle > minAngleThreshold && angle < maxAngleThreshold) {
angleSum += angle;
angleCounter++;
}
}
float averageAngle = angleSum / angleCounter;
cout << "averageAngle:" << averageAngle << endl;
cout << "midAngle:" << midAngle << endl;
/* 旋转图像 */
Mat result;
Mat rotateM = getRotationMatrix2D(Point2f(gray.cols / 2.0, gray.rows / 2.0), averageAngle, 1.0);
warpAffine(src, result, rotateM, gray.size(), INTER_LINEAR, BORDER_CONSTANT, Scalar(255, 255, 255));
imshow("result", result);
waitKey(0);
}
2.2、效果
口罩
说明书
网页
3、按步骤分析
3.1、转灰度图
Mat gray;
cvtColor(src, gray, COLOR_BGR2GRAY);
imshow("gray", gray);
我们平时看的图片都是由RGB来描述颜色的，RGB有三个值，而灰度图只有一个灰度值，转换为灰度图可以减少计算量。
3.2、降噪 + Canny边缘检测
/* 高斯模糊降噪，避免环境中的花纹影响边缘检测 */
Mat blur;
GaussianBlur(gray, blur, Size(5, 5), 1.0);
imshow("gaussianBlur", blur);
/* Canny边缘检测 */
Mat canny;
Canny(blur, canny, 20, 100);
imshow("canny", canny);
降噪是为Canny边缘检测做准备，相机拍出来的照片会有很多多余的特征，这些会影响到边缘检测的结果，通过降噪可以把不明显的特征去掉。
比如这张图片，我们需要校正的只有中间的文字部分。
如果不进行降噪，Canny边缘检测的结果会是这样，存在多余的特征，可能会影响到最后的结果。
降噪后把最明显特征留了下来，提高准确度。
3.3、膨胀（可视具体情况省略）
/* 膨胀两次，膨胀是为了让文字连到一块，轮廓数，提高效率，可以按需求调整膨胀的大小 */
Mat kernel = getStructuringElement(MORPH_RECT, Size(4, 2));
Mat expand;
dilate(canny, expand, kernel, Point(-1, -1), 2);
imshow("dialate", expand);
如上图所示，Canny算法查找到了很多组轮廓，但有时候我们其实不需要太多细节上的轮廓，只需要一个能描述整体的轮廓，这时候用膨胀就可以把这些细节的轮廓组合到一起，这样做的好处是可以减少计算量，而且整体的轮廓比细节轮廓更有代表性。
3.4、轮廓检索
/* 检索轮廓 */
vector<vector<Point>> contours;
findContours(expand, contours, RETR_EXTERNAL, CHAIN_APPROX_NONE);
opencv提供了findContours可以获取图像中的轮廓位置及其旋转角度。
3.5、选取角度
选取角度的方法有很多，可以视情况选择，我这里针对不同场景，提供两种方法。
3.5.1、取平均值
如果要校正文本信息，那么需要获取的是图像整体轮廓的偏移角度，所以可以采取取平均值的方式，例程如下。
过程是先排序，取中间值，避开一些过大或过小的角度，取中间值前后15度的所有角度作为有效角度，通过有效角度的平均值来确定最终的校准结果。
为什么不直接用中间值？直接使用中间值会存在一些特殊情况，比如角度序列：0、31、31、36、90、90。中间值的选取，取决于过大、或过小角度的数量，从序列选中可以看到，偏移角度显然是倾向于31方向的，而结果却是36，所以有时结果偏差比较大。
/* 对各个轮廓的旋转角度进行排序 */
vector<float> vecAngles;
for (int i = 0; i < contours.size(); i++) {
RotatedRect r = minAreaRect(contours[i]);
vecAngles.push_back(r.angle);
}
sort(vecAngles.begin(), vecAngles.end());
/* 以中间值为基准，取相差20%以内的角度的平均值作为结果 */
float midIndex = int(vecAngles.size() / 2) - 1;
float midAngle = vecAngles[midIndex];
float maxAngleThreshold = midAngle > 0 ? midAngle - 15 : midAngle + 15;
float minAngleThreshold = midAngle > 0 ? midAngle + 15 : midAngle - 15;
float angleSum = 0;
int angleCounter = 0;
for (auto angle : vecAngles) {
if (angle > minAngleThreshold && angle < maxAngleThreshold) {
angleSum += angle;
angleCounter++;
}
}
float averageAngle = angleSum / angleCounter;
3.5.2、以最大面积为准
如果要校正的是一些工件之类的，比如前面示例里的口罩，轮廓面积占比比较大的，可以通过判断轮廓面积大小来确定角度。
例程：
float angleResult = 0;
float maxArea = 0;
for (int i = 0; i < contours.size(); i++) {
auto cnt = contours[i];
auto area = contourArea(cnt );
if (maxArea < area) {
maxArea = area;
RotatedRect r = minAreaRect(contours[i]);
angleResult = r.angle;
}
}
效果比平均值好一些。
