利用Fast RCNN训练自己的数据做无人机检测（一）

学习计算机视觉，深度学习快一年了，第一次写博客，想记录自己学习的过程，深度学习作目标检测的模型已经有很多，包括RCNN, Fast RCNN, YOLO, SSD等，本次实验室利用Fast RCNN做目标检测，数据集是采集的大疆四旋翼无人机，后面会继续对其他模型进行训练，先给出实验检测的效果。

这里写图片描述

一. Fast RCNN模型特点
1. 去除了R-CNN中冗余的特征提取，将整张图像输入神经网络进行一次特征提取：用ROI pooling层取代最后一个max pooling层，同时引入bbox 回归层，提取相应的建议proposal特征。
2. Fast RCNN网络末尾采用的是并行的两个连接层，cls score层和bbox score层，可同时输出分类结果和回归结果，第一次实现了end -to -end的多任务训练。
3. 下面给出Fast RCNN的网络结构
这里写图片描述
二. Fast RCNN模型下载
1. 从GitHub上下载fast_rcnn的python代码，https://github.com/rbgirshick/fast-rcnn
2. 由于我是在自己笔记本上(windows下)跑的，因此需要首先利用vs生成pycaffe库，windows版本的caffe没有编译roi pooling layer库，需要在libcaffe.vcxproj中手动添加。
3. 生成cython_bbox.pyd和cython_nms.pyd库
用文本编辑器打开 fast_rcnn_root/lib/utils/nms.pyx，将第25行的np.int_t修改为np.intp_t
用文本编辑器打开 fast_rcnn_root/lib/setup.py，将第18行和第23行的 “-Wno-cpp”,”-Wno-unused-function”指令删除，只留下空的中括号[ ]即可。
打开cmd，定位至fast_rcnn_root_lib，执行python setup.py install
如果提示Unable to find vcvarsall.bat 的话，执行下列指令：
SET VS90COMNTOOLS=%VS110COMNTOOLS%
setup.py安装完成后，到python_root/Lib/site-package/utils中可以找到两个文件
cython_bbox.pyd和cython_nms.pyd,把这两个文件复制到fast_rcnn_root/lib/utils中
4. 要是想运行fast_rcnn自带的model，需要下载相应的训练好的caffemodel，具体方法参见文件夹中的README.md或其他人的博客。

三. 准备训练数据
1.我的训练数据文件夹如下图所示
这里写图片描述

其中label/label.txt里面为Imageset中对应的图片信息，包括roi的bbox位置以及图片名字和所属类别（bird,UAV,plane）三类，每个bbox对应一行，如果一个训练图片中有多个roi，那么此处就有多行，如第5、6行所示
这里写图片描述

2.selective search为每张训练图片提取建议框，我是用c++写的，提取出来的每张图片的bboxes 直接写入了txt文本框中，首先给出bboxes的格式，分别对应【xmin, ymin, xmax, ymax】
这里写图片描述

3.然后给出利用label.txt读取图片信息，生成bboxes的代码：

vector<string> read_imagepath(string label_path, string image_rootpath){
    vector<string> filepath_array;
    ifstream fin(label_path.c_str());
    string line;
    getline(fin, line);
    string previous_line;
    while (getline(fin, line)){
        string filepath = image_rootpath;
        int end = line.find_last_of(' ');
        int begin = line.substr(0, end - 1).find_last_of(' ');
        string current_line = line.substr(begin + 1, end - begin);
        if (current_line != previous_line){
            filepath.append(current_line);
            filepath_array.push_back(filepath);
        }
        previous_line = current_line;
    }
    fin.close();  //关闭文件
    return filepath_array;
}

    float sigma = 0.8;       //高斯滤波
    float k = 100;   //控制合并后的区域大小
    int min_size = 40;  //用于后处理参数，当区域内像素个数小于min_size时，选择与其差异最小的C合并

    string filepath = "F:\\GitHub\\UAV_data\\label\\label4.txt";
    string imagepath = "F:\\GitHub\\UAV_data\\Imageset\\";
    vector<string> filepath_array = read_imagepath(filepath, imagepath);
    for (int i = 0; i < filepath_array.size(); i++){
        int end = filepath_array[i].find(".");
        int begin = filepath_array[i].find_last_of("\\");
        string boundingboxname = filepath_array[i].substr(begin + 1, end - begin - 1);
        string bboxesname = string("BoundingBoxes\\") + boundingboxname+string("bboxes.txt");
        Mat img = imread(filepath_array[i]);
        image<rgb>* imginput = matToImage(img);  //将矩阵转成image类
        int region_nums;
        //得到选择搜索区域的包围框的边界信息，左上和右下顶点xy值
        int* BB = generate_bounding_boxes(imginput, sigma, k, min_size, &region_nums);
        FILE* f;
        f = fopen(bboxesname.c_str(), "w");
        for (int i = 0; i < region_nums; i++){
            fprintf(f, "%d %d %d %d \n", BB[4 * i + 0], BB[4 * i + 1], BB[4 * i + 2], BB[4 * i + 3]);
        }
        fclose(f);

4.通过ss的提取，生成了每张图片的建议框信息，放在selective_search文件夹中
这里写图片描述

利用Fast RCNN训练自己的数据做无人机检测（一）

猜你喜欢