论文笔记《Crowd Counting with Deep Negative Correlation Learning》

论文《Crowd Counting with Deep Negative Correlation Learning》来自CVPR2018

论文地址 http://openaccess.thecvf.com/content_cvpr_2018/papers/Shi_Crowd_Counting_With_CVPR_2018_paper.pdf

代码 https://github.com/shizenglin/Deep-NCL

//////////

解决问题：CNN在单张图片人群计数方面的应用还有很多需要探索的，并且存在严重的过拟合问题；

创新点：The first to provide an alternative to the commonly used learning objective with better generalization abilities by ensemble learning；采用了NCL和“divide and conquer”(重要)的方法学习回归器，在卷积特征图上回归人群密度图。

提出方法：提出decorrelated ConvNet(D-ConvNet)，端到端训练，同时和全卷积主干网络部分是独立的；

具体方法：提出一种通过deep negative correlation learning(NCL)深度负相关学习的策略，产生更具归纳性的特征（generalizable features）；具体而言，通过达到回归器的内在区分度，深入地学习了一批去相关、具有良好的泛化能力的回归器；每一个回归都是通过一个代价函数与卷积神经网络共同优化的，它惩罚了与其他回归器间的相关性，从而更好地平衡了整体上的偏差-方差-协方差。

NCL: NCL权衡偏差-方差-协方差三者关系，运用在回归集成中可以让每个模型准确而多样化；

//////////

D-ConvNet的介绍部分

1.背景知识

N个训练样本： $X={{X_{1}......X_{n}}$ ；样本为 $M_{i}$ 维（一般输入图像的维度均统一）： $x_{i}\in X\subseteq \mathbb{R}^{M_{i}}$ ， $i\in1......N$ 。 $M_{i}=H_{i}*W_{i}*C_{i}$ (分别是输入图像的高度、宽度和通道数目)；

为了得到图片中的人数，学习回归一个密度图 $Y=y_{1}......y_{N}$

目的：学习一个映射函数 ${\color{Red} G: \chi \rightarrow \gamma}$

因为数据分布p(X,Y)通常不知道，上式转换为

一个预测器的回归误差可以表示为：

集成输出是通过对每个G做平均操作：

将集成后结果作为一个整体，进行偏差方差分解：

上述式子可以得到：

上图表明NCL输出值相比传统的集成学习，在每个模型上有更高的区分度；

2.Deep Negative Correlation Learning

每个预测器可以表示为：

k是单个模型的索引，i代表数据样本的索引；

每个预测器由两部分组成：特征提取器以及回归器；前者由全卷积网络组成

3.人群密度图

真实人群密度图的产生方法同MCNN；

4.网络架构

由两类全卷积网络配置组合而成；

（1）D-ConvNet-v1, employs a deep pretrained VGG16 network and make several modifications

（2）D-ConvNet-v2, train deep NCL on a relatively shallower model, which is constructed by stacking several Multi-Scale Blob, aiming to increase the depth and expand the width of crowd model in a single network.

MSB(Multi-Scale Blob): An Inception-like model which enhances the feature diversity by combining feature maps from different network branches.

D-ConvNet的架构：

上图分而治之的策略体现：

A “divide and conquer” strategy is adopted to learn a pool of regressors to regress the crowd density map on top of each convolutional feature map at top layers. Each regressor is jointly optimized with the ConvNet by an amended cost function which penalizes correlations with others to make better trade-offs among the bias-variance-covariance in the ensemble.

对回归作用范围的陈述不是特别理解。

//////////

实验部分

(1)UCF_CC_50 dataset

(2)shanghaiTech dataset

D-ConvNet_1都优于D-ConvNet_2，原因是前者使用预训练的深度模型，后者虽然性能不及前者，但是和采用复杂的交换策略的网络架构不相上下。

//////////

结论部分

将人群计数作为一个集成回归计数问题，通过卷积特征图学习到一些弱回归器；文中主要的创新点是负相关学习的引入，通过分而治之的策略提高集成模型之间的差异性。

//////////话痨的分割线//////////

这篇文章还有些点不太明白，之后会补上来~感觉这段日子产出都很少，忙比赛忙自己的论文实验，碰到问题会卡很久，也很无奈，真的还需要学习太多东西了，自己也会好好摸索的，时间不多了，加油！

论文笔记《Crowd Counting with Deep Negative Correlation Learning》

猜你喜欢