【论文阅读笔记】-《Quantized Convolutional Neural Networks for Mobile Devices》

GitHub code: https://github.com/jiaxiang-wu/quantized-cnn

paper add: https://arxiv.org/abs/1512.06473

      Quantized -CNN是一种卷积神经网络量化框架，在测试阶段可以进行计算加速和模型压缩。移动设备可以利用Quantized -CNN框架进行有效的时实图像分类，只有极小的准确性损失。文章测试的硬件平台是华为mate10，在在ILSVRC-12基准测试上进行了大量的实验，结果表明有4~6倍的加速和15~20倍的压缩，分类准确率仅下降了1个百分点，如下图所示：

     我们知道，模型的耗时主要集中在卷积层，参数主要集中在全连接层，论文主要思想是量化卷积的kernel和FC的权值矩阵，论文针对卷积和全连接层采取了不同的量化方法，不过都是基于权重共享策略，采用ｋ-means聚类算法加速和压缩模型的卷积层和全连接层，通过量化网络参数，用近似内积计算有效地估计卷积和全连接层的响应,最小化参数量化期间每层响应的估计误差，更好地保持模型性能。通过减小每层输出响应的估计误差可实现更好的量化结果，并提出一种有效的训练方案抑制量化后的多层累积误差 .