HOG + SVM 实现静态手势识别（基于Android平台实现）

HOG特征，最经典的用途就是行人检测。其实不只是做行人跟踪，在做静态手势识别方面，也还是不错的，网上也有不少人实现过，但是基于Android平台的不多。本文利用OpenCV + Android 平台实现了张开的手掌的静态识别。

硬件： Samsung Note3 N9008 （高通枭龙800处理器，2013年的主流配置）
软件：Opencv + Android 5.1

开始以为用手机做HOG特征检测，并且实现多尺度检测必然卡成翔，但是出乎意料的是，1920*1080P分辨率，大概5s种就能检测一帧，虽然不能用作实时视频检测，但是也不错了，相信如果继续优化，降低运算量，效果还是不错的。

先上几张图：

这里写图片描述

绿色框框内即为显示的手势。

代码其实很简单，因为利用OpenCV，已经帮我们实现了许多底层细节，包括特征值的计算、SVM分配器的训练、以及很多图像细节处理。放出几段关键代码，主要是JNI编程部分：

HOGDescriptor hog(cvSize(64,64),cvSize(16,16),cvSize(8,8),cvSize(8,8),9); //检测窗口64*64

//获取SVM描述子，这个先前已经训练好了，已txt文件形式保存了，该函数就是读取该文件，并保存在vector中
vector<float>  get_detector(const char* hogSVMDetectorPath) 
{
    vector<float> detector;
    ifstream fileIn(hogSVMDetectorPath,ios::in);
    float val = 0.0f;
    while(!fileIn.eof())
    {
        fileIn>>val;
        detector.push_back(val);
    }
    fileIn.close();

    return detector;
}


void  hog_init(void)
{
    vector<float> detector = get_detector("/sdcard/opencv/hogSVMDetector_f.txt");
    hog.setSVMDetector(detector);
}



JNIEXPORT void JNICALL Java_org_opencv_samples_tutorial2_Tutorial2Activity_HogFeatures(JNIEnv*, jobject, jlong addrGray, jlong addrRgba)
{
    Mat& mGr  = *(Mat*)addrGray;
    Mat& mRgb = *(Mat*)addrRgba;

/*这里设置了一个缩放尺寸，由于做静态手势检测，无需1920*1080P这么高的分辨率，所以先将图像缩放到原来的四分之一，当然，也可以在相机属性上设置，直接降低采样分辨率。*/

    int scale = 4 ;  
    Mat tmp(mGr.rows /scale, mGr.cols/scale, CV_8UC1);
    resize(mGr, tmp, Size(tmp.cols, tmp.rows));

    vector<Rect>  found;
    hog_init();
    hog.detectMultiScale(tmp, found, 0, cv::Size(8,8), cv::Size(32,32), 1.05, 2);
    if (found.size() > 0)
     {
        for (int i=0; i<found.size(); i++)
        {
            /*得到的矩形框需要相应乘以4*/
            Rect tempRect(found[i].x * scale, found[i].y * scale, found[i].width * scale, found[i].height * scale);
            rectangle(mRgb, cvPoint(tempRect.x,tempRect.y),cvPoint(tempRect.x+tempRect.width,tempRect.y+tempRect.height),CV_RGB(0,255,0), 5);
        }
     }
}

主Activity部分，主要就是处理图像采集，代码量比较小：

public Mat onCameraFrame(CvCameraViewFrame inputFrame) {

            mRgba = inputFrame.rgba(); //读取当前帧
            mGray = inputFrame.gray(); //灰度化
            HogFeatures(mGray.getNativeObjAddr(), mRgba.getNativeObjAddr()); //调用Native接口函数
       }

        return mRgba;
    }

public native void HogFeatures(long matAddrGr, long matAddrRgba);

通过缩放到原来的四分之一，即480*270 的分辨率，可以大大加快检测速度，大概能到10帧每秒的速度。这个成绩已经不错了，毕竟是ARM处理器。要知道Intel I3 处理器，640*480分辨率，也就20帧左右。

初步就这样了，后续看看能否继续优化或者改进算法。关于SVM分类器训练，网上一搜一大把，就不详细介绍了。附上我以前的论文一篇，详细介绍了HOG+SVM检测：
http://wenku.baidu.com/view/d00ca57310a6f524cdbf8557

HOG + SVM 实现静态手势识别 （基于Android平台实现）

猜你喜欢

HOG + SVM 实现静态手势识别（基于Android平台实现）