code:https://github.com/hszhao/SAN
它有后接线性映射以及非线性函数达成(即BatchNorm+ReLU
)。
常规卷积通过固定核进行特征聚合,即全图权值共享,不会随特征内容而自适应变化,同时参数量会随着聚合特征数量增加而增加。鉴于此,作者提出几种特征聚合机制并构建了一个高性能图像识别框架(它交错执行特征聚合(自注意力)和特征变换(逐点感知器))。
试了一下,比较慢,占内存也很大
code:https://github.com/hszhao/SAN
它有后接线性映射以及非线性函数达成(即BatchNorm+ReLU
)。
常规卷积通过固定核进行特征聚合,即全图权值共享,不会随特征内容而自适应变化,同时参数量会随着聚合特征数量增加而增加。鉴于此,作者提出几种特征聚合机制并构建了一个高性能图像识别框架(它交错执行特征聚合(自注意力)和特征变换(逐点感知器))。
试了一下,比较慢,占内存也很大