记录使用NNI进行模型剪枝,压缩。

之前利用微软的nni的Model compress工具,剪枝,压缩一些简单的网络模型,也尝试了剪枝带LSTM的CRNN网络,需要修改一点点它的源码。

调用API也得到的小模型文件,实测小模型文件在较大batch推断时候是有加速效果。但是保存的pytorch的pth模型如果没有保存网络结构,

换了项目目录之后会存在load失败的情况,而NNI是会使用一些操作替换掉大模型的,这样的话保存带结构的网络模型就比较麻烦。

忘记了自己当时具体怎么解决的,有时间了,重新拾起,详细记录。

生成小模型需要用到NNI的模型压缩的API:ModelSpeedup

猜你喜欢

转载自blog.csdn.net/qq_36276587/article/details/111589712