本文共 939 字,大约阅读时间需要 3 分钟。
目录
最近阅读了两篇有关增强CNN能力的文章。CNN经过几年的研究,主流的网络框架不断的迭代,从最初的AlexNet到ResNet和DenseNet,似乎通用网络的框架的研究似乎到了一个瓶颈。这种通用的网络框架在不同的问题起着特征提取的作用,例如分割问题或是目标检测问题,那么如何在不改变大框架的情况下,进一步提升特征提取的有效性呢?研究者们通过使用soft weight增强网络的能力。
Attention Module
文章:Residual Attention Network for Image Classification
该文章提出了Attention Module,这个模块来自于Stacked Hourglass Networks for Human Pose Estimation文章。
Attention Module分为mask branch和trunk branch:trunk branch是主流网络的每一个模块,起到提取特征的作用;mask branch的输出是与对应特征提取层的输出尺寸相同,每个元素的大小是[0,1],作为weight使用,乘于对应的特征,得到该Module的输出。然后将多个Module使用ResNet的方式串联,得到Residual Attention Network。
可以认为本文提到的soft weight是在每个channel内部的,因为mask branch的输出是与trunk branch的channel数相同,尺寸相同,对应的channel相乘。相当于mask branch是输出了每个channe的所有位置的soft weight。
SE Module
文章:Squeeze-and-Excitation Networks Jie
该文章理解起来非常简单,就是对于一个特定大小的特征,对每个channel做average pooling到1*1的大小,然后使用全连接层计算每个channel的权重,最后乘在每个channel上,相当于不同的channel有不同的权重。
由于权重只是乘在了channel上,每个channel内部特征的比例关系是不变的,所以这个soft weight是对应了channel的。
转载地址:https://blog.csdn.net/wqwqqwqw1231/article/details/91401198 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!