深度神经网络优化论文总结

1、HanS, Mao H, Dally W J. Deep Compression: Compressing Deep NeuralNetworks with Pruning, Trained

Quantization and Huffman Coding[J].Fiber, 2015, 56(4):3--7.

• 
  
• 主要内容：简化和压缩DNN模型，以减少计算量和内存的占用。神经网络剪枝：移除冗余连接并保证神经网络连接的有效性，从而将密集型神经网络转化为稀疏型神经网络; 量化训练：量化权重，并令多个连接共享相同的权重。仅存储有效权重和索引，且每个参数只需要较少的位来表示; 可变长度编码：利用有效权重的不均匀分布，并在没有训练准确度损失的情况下使用可变长度编码表征权重。
  
• 方法：剪枝：移除神经网络结构的冗余连接，删除数值较小权值，稀疏矩阵添加0防止溢出。量化：聚类（划分权值，浮点型32bit->整型2bit，共享权值）。通过聚类的方式划分权值，并分类浮点型权值，同一类的权值用同一合适的整型表示，并共享此权值，仅存储共享权值，索引，CodeBook。编码：可变长度编码。
• 创新点：不同于以往直接对深度神经网络进行优化，它针对于已经训练好的网络进行优化，保证了训练的准确度。
• 优点：减少了参数与计算量的情况下完全保留了预测准确度;不仅提高了推算速度，同时还降低了运行大型网络所需的计算资源与能源;剪枝和量化可以在不相互影响的情况下压缩神经网络。深度压缩令存储需求变得很小（兆字节空间），所有的权重都可以在芯片上缓存而不需要芯片外的DRAM。减轻内存和存储开销; 提高CPU加速比; 减少CPU能耗。
• 缺点：优化后的神经网络权重还是浮点数。
• Note ：初始值选取：线性初始化有助于保留较大权值，往往较大权值更重要。

2、ZhouA, Yao A, Guo Y, et al. Incremental Network Quantization: TowardsLossless CNNs with Low-

PrecisionWeights[J]. 2017.

• 主要内容：提出了渐进式神经网络量化的思想，引入了三种操作：参数分组，量化，重训练。给定任意结构预先训练的全精度（32位浮点）CNN模型，能将其转换成无损的低比特二进制模型。例如，将所有32位浮点权重转换为2或0的幂，而不会损失模型精度。
• 创新点：网络生成由三个相互依赖的操作组成（权值分割，分组量化和再训练）。将这个全精度浮点网络模型中的每一层参数分为不相交且互补的两组，第一组中的参数直接被量化固定，另一组参数通过重训练来补偿量化给模型造成的精度损失。三个操作不断迭代训练网络，直到模型全部量化为止。同时分组方法为阀值比较，绝对值较大（更重要）的权值去做量化，较小的权值做重训练。
• 优点：不同于韩松提出的DNN压缩之后权值仍是浮点型，INQ得到的是二进制化的参数，可以用简单的二进制移位运算代替原来的浮点数乘法运算，简化硬件计算。
• 缺点：…
• 
  

2、Rastegari M, Ordonez V, Redmon J, et al. XNOR-Net: ImageNet Classification Using Binary Convolutional Neural 

Networks[C]// European Conference on Computer Vision. Springer, Cham, 2016:525-542.

• 主要内容：介绍了两种二值化网络：Binary-Weight-Networks和XNOR-Networks。其中，Binary-Weight-Networks所有权重值都用二值近似，仅通过加法和减法来估计卷积运算（不需要乘法）；XNOR-Networks，一种具有二值化权重和二值化输入的深层神经网络模型。权重，卷积层和完全连接层的输入都用二值化近似，可通过XNOR和位计数操作估计卷积。

• 创新点：通过二值化权重，来实现简单，高效，准确的CNN近似。其二值化方法旨在使用二值操作找到卷积的最佳近似。

• 优点：Binary-Weight-Networks通过对权重W做二值化操作，达到减少模型存储空间的目的，准确率接近全精度卷积神经网络；XNOR-Networks通过同时对权重W和输入I做二值化操作，达到既减少模型存储空间，又加速模型的目的。

• 缺点：XNOR-Networks的准确率影响也比较明显。
• 参考博客：https://blog.csdn.net/u014380165/article/details/77731595