摘要
最近，在实验室里接了一个商业项目，我所需要完成的部分是通过识别图片内商品类别，并通过相关技术还原其相关参数，如：长、宽、高、深度（即距离摄像头的距离）。老板给了篇论文让我们先进行复现，也就是Faster R-CNN。
在复现期间，我遇到了许多的困难，在此记录下来，希望以后复现这篇论文的人能绕开不必要的坑。
一、关于论文
《Rich feature hierarchies for accurate object detection and semantic segmentation》、《Fast R-CNN》、《Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks》，这三篇论文的作者都是Ross Girshick，该作者也在GitHub上分别开源了相关源码：rcnn，fast rcnn，faster rcnn
二、复现论文
对于论文实现部分，作者提供了两种实现方式：一种是MATLAB版本，另一种是Python版本。
作者在其Python版本的README中明确指出：不推荐使用Python版本的源码，若想复现NIPS 2015 那篇论文，最好使用MATLAB版本的源码。
由于我之前都是使用Tensorflow进行论文复现的，所以我选择 endernewton/tf-faster-rcnn 所提供的源码进行复现。
在实验室中，我先是在一台无GPU的主机上进行复现，成功后便将其移植到Jetson TX2上。所以，在这篇博文中，我将分别讲述使用CPU和使用GPU两种复现途径。
1.配置环境
所需环境：
- Tensorflow (可以翻阅我之前的博文，查看如何安装)
- Python (我所用版本为 Python 2.7)
- Python packages : cython, opencv-python, easydict
建议各位将电脑语言设置为英文，以避免出现路径中含有中文的现象发生，我之前便因为这个原因浪费了一些时间，这篇博文中有指出这一问题。
2.更改相关文件
由于代码默认使用GPU进行运行，若仅有CPU，就必须将代码进行必要修改。
按照作者在README上的指导进行修改，仍会有错误报出，应按这篇博文所提供的办法修改：
(1)修改lib/model/nms_wrapper.py
按照图中箭头所指示的地方，将代码注释，作用就是为了直接禁用掉GPU模式
(2)lib/setup.py
需要注意的是，不要直接用三个引号的方式整块注释，要一行一行注释。
如果还有疑惑，不妨参考以下博文：
TF-Faster-RCNN训练篇（基础版）结合自己训练的修改过程而撰写
tf-faster rcnn 配置 及自己数据
3.调用demo文件
该文件用于展示模型的图片识别效果，将其稍作修改便可以进行个性化设置。
#!/usr/bin/env python
# --------------------------------------------------------
# Tensorflow Faster R-CNN
# Licensed under The MIT License [see LICENSE for details]
# Written by Xinlei Chen, based on code from Ross Girshick
# --------------------------------------------------------
"""
Demo script showing detections in sample images.
See README.md for installation instructions before running.
"""
from __future__ import absolute_import
from __future__ import division
from __future__ import print_function
import _init_paths
from model.config import cfg
from model.test import im_detect
from model.nms_wrapper import nms
from utils.timer import Timer
import tensorflow as tf
import matplotlib.pyplot as plt
import numpy as np
import os, cv2
import argparse
from nets.vgg16 import vgg16
from nets.resnet_v1 import resnetv1
CLASSES = ('__background__',
'aeroplane', 'bicycle', 'bird', 'boat',
'bottle', 'bus', 'car', 'cat', 'chair',
'cow', 'diningtable', 'dog', 'horse',
'motorbike', 'person', 'pottedplant',
'sheep', 'sofa', 'train', 'tvmonitor')
NETS = {'vgg16': ('vgg16_faster_rcnn_iter_70000.ckpt',),'res101': ('res101_faster_rcnn_iter_110000.ckpt',)}
DATASETS= {'pascal_voc': ('voc_2007_trainval',),'pascal_voc_0712': ('voc_2007_trainval+voc_2012_trainval',)}
def vis_detections(im, class_name, dets, thresh=0.5):
"""Draw detected bounding boxes."""
inds = np.where(dets[:, -1] >= thresh)[0]
if len(inds) == 0:
return
im = im[:, :, (2, 1, 0)]
fig, ax = plt.subplots(figsize=(12, 12))
ax.imshow(im, aspect='equal')
for i in inds:
bbox = dets[i, :4]
score = dets[i, -1]
#可在此处进行修改，以获取识别物体在图中的相应信息
ax.add_patch(
plt.Rectangle((bbox[0], bbox[1]),
bbox[2] - bbox[0],
bbox[3] - bbox[1], fill=False,
edgecolor='red', linewidth=3.5)
)
ax.text(bbox[0], bbox[1] - 2,
'{:s} {:.3f}'.format(class_name, score),
bbox=dict(facecolor='blue', alpha=0.5),
fontsize=14, color='white')
ax.set_title(('{} detections with '
'p({} | box) >= {:.1f}').format(class_name, class_name,
thresh),
fontsize=14)
plt.axis('off')
plt.tight_layout()
plt.draw()
def demo(sess, net, image_name):
"""Detect object classes in an image using pre-computed object proposals."""
# Load the demo image
im_file = os.path.join(cfg.DATA_DIR, 'demo', image_name)
im = cv2.imread(im_file)
# Detect all object classes and regress object bounds
timer = Timer()
timer.tic()
scores, boxes = im_detect(sess, net, im)
timer.toc()
print('Detection took {:.3f}s for {:d} object proposals'.format(timer.total_time, boxes.shape[0]))
# Visualize detections for each class
CONF_THRESH = 0.8
NMS_THRESH = 0.3
for cls_ind, cls in enumerate(CLASSES[1:]):
cls_ind += 1 # because we skipped background
cls_boxes = boxes[:, 4*cls_ind:4*(cls_ind + 1)]
cls_scores = scores[:, cls_ind]
dets = np.hstack((cls_boxes,
cls_scores[:, np.newaxis])).astype(np.float32)
keep = nms(dets, NMS_THRESH)
dets = dets[keep, :]
vis_detections(im, cls, dets, thresh=CONF_THRESH)
def parse_args():
"""Parse input arguments."""
parser = argparse.ArgumentParser(description='Tensorflow Faster R-CNN demo')
parser.add_argument('--net', dest='demo_net', help='Network to use [vgg16 res101]',
choices=NETS.keys(), default='res101')
parser.add_argument('--dataset', dest='dataset', help='Trained dataset [pascal_voc pascal_voc_0712]',
choices=DATASETS.keys(), default='pascal_voc_0712')
args = parser.parse_args()
return args
if __name__ == '__main__':
cfg.TEST.HAS_RPN = True # Use RPN for proposals
args = parse_args()
# model path 可在此处进行修改，以选择相应的模型与数据集
demonet = args.demo_net
dataset = args.dataset
tfmodel = os.path.join('output', demonet, DATASETS[dataset][0], 'default',NETS[demonet][0])
if not os.path.isfile(tfmodel + '.meta'):
raise IOError(('{:s} not found.\nDid you download the proper networks from '
'our server and place them properly?').format(tfmodel + '.meta'))
# set config
tfconfig = tf.ConfigProto(allow_soft_placement=True)
tfconfig.gpu_options.allow_growth=True
# init session
sess = tf.Session(config=tfconfig)
# load network
if demonet == 'vgg16':
net = vgg16()
elif demonet == 'res101':
net = resnetv1(num_layers=101)
else:
raise NotImplementedError
net.create_architecture("TEST", 21,
tag='default', anchor_scales=[8, 16, 32])
saver = tf.train.Saver()
saver.restore(sess, tfmodel)
print('Loaded network {:s}'.format(tfmodel))
#可在此处进行修改，以选择数据集中相应的图片
im_names = ['000456.jpg', '000542.jpg', '001150.jpg','001763.jpg', '004545.jpg']
for im_name in im_names:
print('~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~')
print('Demo for data/demo/{}'.format(im_name))
demo(sess, net, im_name)
plt.show()4.运行效果
三、论文理解
由于我的知识有限，也不能在这里给大家讲解这几篇论文了，怕误人子弟。
这里放一些相关的博客，希望大家能有所收获：
【目标检测】Faster RCNN算法详解
一文读懂Faster RCNN
Faster R-CNN - 目标检测详解
像玩乐高一样拆解Faster R-CNN：详解目标检测的实现过程
如果你看到了这篇文章的最后，并且觉得有帮助的话，麻烦你花几秒钟时间点个赞，或者受累在评论中指出我的错误。谢谢！
作者信息：
CSDN：Code_Mart
Github：Bojack-want-drink