全连接层提速

分类和位置调整都是通过全连接层(fc)实现的,设前一级数据为后一级为,全连接层参数为,尺寸,一次前向传播(forward)即为:

计算复杂度为

进行SVD分解,并用前t个特征值近似:

原来的前向传播分解成两步:

计算复杂度变为 

在实现时,相当于把一个全连接层拆分成两个,中间以一个低维数据相连:

猜你喜欢

转载自www.cnblogs.com/pacino12134/p/11407924.html