论文：《DOREFA-NET: TRAINING LOW BITWIDTH CONVOLUTIONAL NEURAL NETWORKS WITH LOW BITWIDTH GRADIENTS》 Face++出品
ABSTRACT
论文提出了一种新的网络结构DOREFA-NET，该网络实现了一种多值网络模型，与之前的二值网络、多值网络不同的是，它实现了梯度的量化，而且取得了较好的结果。
contributions
论文的贡献包括如下四点：
1.论文设计了一种DOREFA-NET，可以使得权重、激活和梯度都量化，这使得训练流程得以加速。
2.论文给出了在异构设备上加速多值网络的技巧。
3.论文指出，梯度所需的比特数多于激活，激活所需的比特数多于权重。
4.论文开源了一个AlexNet的DOREFA-NET实现。
EXPERIMENT RESULTS
这篇论文没有仔细看，因为觉得作者的方向不太对，有点跑偏了，其实论文的核心是对训练流程进行加速，最大的改进点是对梯度也做了量化，但是这对于预测流程没有丝毫的益处，反而会降低精度，从上面的结果也可以看到，其精度要比XNOR-NET低，但从使用上来说，二者的内存占用和效率几乎无差别。那么也就背离了模型量化的初衷，在尽可能小的损失精度的情况下最大化压缩和加速模型，因此即便论文证明了其可以实现梯度量化，但是在我看来做的都是无用功而已，但是其研究成果不可否定，当然以上都是我个人看法。