opencv图像识别训练实例

我一度以为图像训练会很难，觉得很高深，直到我亲自做了一个图像的训练才认识到如果仅仅是单纯地学习和使用，真的很简单。

本文按照如下顺序来进行详细解释如何进行图像识别训练过程：

1. 制作图像
2. 图像数据
3. 图像训练
4. 图像识别实例

选取图像集

我这里下载了12张杨幂的照片作为数据集来提取脸部照片ROI。

#include <QApplication>

#include "opencv2/opencv.hpp"

#include <QDebug>

using namespace cv;


/** Function Headers */
void detectAndDisplay(Mat frame);

/** Global variables */
String face_cascade_name = "../haarcascade_frontalface_default.xml";
String eyes_cascade_name = "../haarcascade_eye_tree_eyeglasses.xml";
CascadeClassifier face_cascade;   //定义人脸分类器
CascadeClassifier eyes_cascade;   //定义人眼分类器
String window_name = "Capture - Face detection";




int main(int argc, char *argv[])
{
    QApplication a(argc, argv);

    int i = 1;
    for(; i < 13; i++)
    {
        string  str_path = format("../imgs/ym/%d.jpg", i);
        Mat frame = imread(str_path);
        if (!face_cascade.load(face_cascade_name))
        {
            printf("--(!)Error loading face cascade\n");
            return -1;
        }
        if (!eyes_cascade.load(eyes_cascade_name))
        {
            printf("--(!)Error loading eyes cascade\n");
            return -1;
        }
        detectAndDisplay(frame);

    }
    return a.exec();
}



void detectAndDisplay(Mat frame)
{
    static int num = 1;
    std::vector<Rect> faces;
    Mat frame_gray;

    cvtColor(frame, frame_gray, COLOR_BGR2GRAY);
    //直方图均衡化
    equalizeHist(frame_gray, frame_gray);

    //-- Detect faces
    //face_cascade.detectMultiScale(frame_gray, faces, 1.1, 5, 0 | CV_HAAR_SCALE_IMAGE, Size(5, 5));

    face_cascade.detectMultiScale(frame_gray, faces, 1.1, 3, CV_HAAR_DO_ROUGH_SEARCH, Size(50, 50));

    qDebug()<< "faces number:" << faces.size();
    for (size_t i = 0; i < faces.size(); i++)
    {
        num++;
        //Point center(faces[i].x + faces[i].width / 2, faces[i].y + faces[i].height / 2);
        //ellipse(frame, center, Size(faces[i].width / 2, faces[i].height / 2), 0, 0, 360, Scalar(255, 0, 255), 4, 8, 0);
        rectangle(frame, faces[i],Scalar(255,0,0),2,8,0);

        Mat faceROI = frame_gray(faces[i]);
        Mat MyFace;
        if (faceROI.cols > 100)
        {
            resize(faceROI, MyFace, Size(92, 112));
            string  str = format("../generateFaces/MyFcae%d.pgm", num);
            imwrite(str, MyFace);
            imshow("ii", MyFace);
        }


        std::vector<Rect> eyes;

        //-- In each face, detect eyes
        eyes_cascade.detectMultiScale(faceROI, eyes, 1.1, 1, CV_HAAR_DO_ROUGH_SEARCH, Size(3, 3));

        for (size_t j = 0; j < eyes.size(); j++)
        {
            Rect rect(faces[i].x + eyes[j].x, faces[i].y + eyes[j].y, eyes[j].width, eyes[j].height);

            //Point eye_center(faces[i].x + eyes[j].x + eyes[j].width / 2, faces[i].y + eyes[j].y + eyes[j].height / 2);
            //int radius = cvRound((eyes[j].width + eyes[j].height)*0.25);
            //circle(frame, eye_center, radius, Scalar(255, 0, 0), 4, 8, 0);
            rectangle(frame, rect, Scalar(0, 255, 0), 2, 8, 0);
        }
    }
    //-- Show what you got
    namedWindow(window_name, 2);
    imshow(window_name, frame);
}

图像数据

本次用的数据集市opencv给出的教程里面的第一个数据集：The AT&T Facedatabase。又称ORL人脸数据库，40个人，

数据集地址：https://www.cl.cam.ac.uk/research/dtg/attarchive/facedatabase.html

可以直接下载。下载完毕解压后是40个文件夹（s1-s40，每个文件夹中包含10张图片）每人10张照片。照片在不同时间、不同光照、不同表情(睁眼闭眼、笑或者不笑)、不同人脸细节(戴眼镜或者不戴眼镜)下采集。所有的图像都在一个黑暗均匀的背景下采集的，正面竖直人脸(有些有有轻微旋转)。

我们添加我们自己的图像文件夹s41，并且添加上一步骤生成的ROI图。

拷贝opencv-2.4.13.3/modules/contrib/doc/facerec/src/create_csv.py到程序生成目录，然后对其做相应的修改（注意这里必须要把路径写正确，否则训练时会由于路径不正确引发运行错误，这一点对新手来说打击还是挺大的）。

运行create_csv.py生成at.txt

图像训练

#include <QApplication>

#include "opencv2/opencv.hpp"
#include "opencv2/contrib/contrib.hpp"

#include <iostream>
#include <fstream>
#include <sstream>
#include <math.h>

#include <QDebug>

using namespace cv;
using namespace std;


static Mat norm_0_255(InputArray _src) {
    Mat src = _src.getMat();
    // 创建和返回一个归一化后的图像矩阵:
    Mat dst;
    switch (src.channels()) {
    case1:
        cv::normalize(_src, dst, 0, 255, NORM_MINMAX, CV_8UC1);
        break;
    case3:
        cv::normalize(_src, dst, 0, 255, NORM_MINMAX, CV_8UC3);
        break;
    default:
        src.copyTo(dst);
        break;
    }
    return dst;
}


//使用CSV文件去读图像和标签，主要使用stringstream和getline方法
static void read_csv(const string& filename, vector<Mat>& images, vector<int>& labels, char separator = ';') {
    std::ifstream file(filename.c_str(), ifstream::in);
    if (!file) {
        string error_message = "No valid input file was given, please check the given filename.";
        CV_Error(CV_StsBadArg, error_message);
    }
    string line, path, classlabel;
    while (getline(file, line)) {
        stringstream liness(line);
        getline(liness, path, separator);
        getline(liness, classlabel);
        if (!path.empty() && !classlabel.empty()) {
            images.push_back(imread(path, 0));
            labels.push_back(atoi(classlabel.c_str()));
        }
    }
}




int main(int argc, char *argv[])
{
    QApplication a(argc, argv);

    //读取你的CSV文件路径.
    //string fn_csv = string(argv[1]);
    string fn_csv = "at.txt";

    // 2个容器来存放图像数据和对应的标签
    vector<Mat> images;
    vector<int> labels;
    // 读取数据. 如果文件不合法就会出错
    // 输入的文件名已经有了.
    try
    {
        read_csv(fn_csv, images, labels);
    }
    catch (cv::Exception& e)
    {
        cerr << "Error opening file \"" << fn_csv << "\". Reason: " << e.msg << endl;
        exit(1);
    }

    qDebug() << "read_csv ok";
    qDebug() << "images.size(): " << images.size();
    // 如果没有读取到足够图片，也退出.
    if (images.size() <= 1) {
        string error_message = "This demo needs at least 2 images to work. Please add more images to your data set!";
        CV_Error(CV_StsError, error_message);
    }

    // 下面的几行代码仅仅是从你的数据集中移除最后一张图片
    //[gm:自然这里需要根据自己的需要修改，他这里简化了很多问题]
    Mat testSample = images[images.size() - 1];
    int testLabel = labels[labels.size() - 1];
    images.pop_back();
    labels.pop_back();
    // 下面几行创建了一个特征脸模型用于人脸识别，
    // 通过CSV文件读取的图像和标签训练它。
    // T这里是一个完整的PCA变换
    //如果你只想保留10个主成分，使用如下代码
    //      cv::createEigenFaceRecognizer(10);
    //
    // 如果你还希望使用置信度阈值来初始化，使用以下语句：
    //      cv::createEigenFaceRecognizer(10, 123.0);
    //
    // 如果你使用所有特征并且使用一个阈值，使用以下语句：
    //      cv::createEigenFaceRecognizer(0, 123.0);

    Ptr<FaceRecognizer> model = createEigenFaceRecognizer();
    model->train(images, labels);
    model->save("MyFacePCAModel.xml");

    Ptr<FaceRecognizer> model1 = createFisherFaceRecognizer();
    model1->train(images, labels);
    model1->save("MyFaceFisherModel.xml");

    Ptr<FaceRecognizer> model2 = createLBPHFaceRecognizer();
    model2->train(images, labels);
    model2->save("MyFaceLBPHModel.xml");


    // 下面对测试图像进行预测，predictedLabel是预测标签结果
    int predictedLabel = model->predict(testSample);
    int predictedLabel1 = model1->predict(testSample);
    int predictedLabel2 = model2->predict(testSample);

    // 还有一种调用方式，可以获取结果同时得到阈值:
    //      int predictedLabel = -1;
    //      double confidence = 0.0;
    //      model->predict(testSample, predictedLabel, confidence);

    string result_message = format("Predicted class = %d / Actual class = %d.", predictedLabel, testLabel);
    string result_message1 = format("Predicted class = %d / Actual class = %d.", predictedLabel1, testLabel);
    string result_message2 = format("Predicted class = %d / Actual class = %d.", predictedLabel2, testLabel);
    cout << result_message << endl;
    cout << result_message1 << endl;
    cout << result_message2 << endl;


    return a.exec();
}

 

图像识别实例

#include <QApplication>

#include "opencv2/opencv.hpp"

using namespace cv;
using namespace std;



int main(int argc, char *argv[])
{
    QApplication a(argc, argv);


    //VideoCapture cap(0);    //打开默认摄像头
//    if (!cap.isOpened())
//    {
//        return -1;
//    }
    Mat frame;
    Mat edges;
    Mat gray;

    CascadeClassifier cascade;
    bool stop = false;
    //训练好的文件名称，放置在可执行文件同目录下
    cascade.load("../haarcascade_frontalface_alt.xml");

    Ptr<FaceRecognizer> modelPCA = createEigenFaceRecognizer();
    modelPCA->load("../MyFacePCAModel.xml");

    //while (!stop)
    {
        //cap >> frame;
        frame = imread("../imgs/5.jpg");


        //建立用于存放人脸的向量容器
        vector<Rect> faces(0);

        cvtColor(frame, gray, CV_BGR2GRAY);
        //改变图像大小，使用双线性差值
        //resize(gray, smallImg, smallImg.size(), 0, 0, INTER_LINEAR);
        //变换后的图像进行直方图均值化处理
        equalizeHist(gray, gray);

        cascade.detectMultiScale(gray, faces,
                                 1.1, 2, 0
                                 //|CV_HAAR_FIND_BIGGEST_OBJECT
                                 //|CV_HAAR_DO_ROUGH_SEARCH
                                 | CV_HAAR_SCALE_IMAGE,
                                 Size(50, 50));

        Mat face;
        Point text_lb;

        for (size_t i = 0; i < faces.size(); i++)
        {
            if (faces[i].height > 0 && faces[i].width > 0)
            {
                face = gray(faces[i]);
                text_lb = Point(faces[i].x, faces[i].y);

                rectangle(frame, faces[i], Scalar(255, 0, 0), 1, 8, 0);
            }
        }

        Mat face_test;

        int predictPCA = 0;
        if (face.rows >= 120)
        {
            resize(face, face_test, Size(92, 112));

        }
        //Mat face_test_gray;
        //cvtColor(face_test, face_test_gray, CV_BGR2GRAY);

        if (!face_test.empty())
        {
            //测试图像应该是灰度图
            predictPCA = modelPCA->predict(face_test);
        }

        cout << predictPCA << endl;
        if (predictPCA == 29)
        {
            string name = "YangMi";
            putText(frame, name, text_lb, FONT_HERSHEY_COMPLEX, 1, Scalar(0, 0, 255));
        }

        imshow("face", frame);


        return a.exec();
    }
}