【论文阅读】SE Module 和 Attention Module
发布日期:2021-09-16 07:31:59 浏览次数:1 分类:技术文章

本文共 939 字,大约阅读时间需要 3 分钟。

目录

最近阅读了两篇有关增强CNN能力的文章。CNN经过几年的研究,主流的网络框架不断的迭代,从最初的AlexNet到ResNet和DenseNet,似乎通用网络的框架的研究似乎到了一个瓶颈。这种通用的网络框架在不同的问题起着特征提取的作用,例如分割问题或是目标检测问题,那么如何在不改变大框架的情况下,进一步提升特征提取的有效性呢?研究者们通过使用soft weight增强网络的能力。

Attention Module

文章:Residual Attention Network for Image Classification

该文章提出了Attention Module,这个模块来自于Stacked Hourglass Networks for Human Pose Estimation文章。

Attention Module分为mask branch和trunk branch:trunk branch是主流网络的每一个模块,起到提取特征的作用;mask branch的输出是与对应特征提取层的输出尺寸相同,每个元素的大小是[0,1],作为weight使用,乘于对应的特征,得到该Module的输出。然后将多个Module使用ResNet的方式串联,得到Residual Attention Network。

可以认为本文提到的soft weight是在每个channel内部的,因为mask branch的输出是与trunk branch的channel数相同,尺寸相同,对应的channel相乘。相当于mask branch是输出了每个channe的所有位置的soft weight。

SE Module

文章:Squeeze-and-Excitation Networks Jie

该文章理解起来非常简单,就是对于一个特定大小的特征,对每个channel做average pooling到1*1的大小,然后使用全连接层计算每个channel的权重,最后乘在每个channel上,相当于不同的channel有不同的权重。

由于权重只是乘在了channel上,每个channel内部特征的比例关系是不变的,所以这个soft weight是对应了channel的。

转载地址:https://blog.csdn.net/wqwqqwqw1231/article/details/91401198 如侵犯您的版权,请留言回复原文章的地址,我们会给您删除此文章,给您带来不便请您谅解!

上一篇:【深度学习】【Pytorch学习】Pytorch自带Loss总结
下一篇:三维激光雷达点云处理分类

发表评论

最新留言

逛到本站,mark一下
[***.202.152.39]2024年03月13日 03时13分37秒

关于作者

    喝酒易醉,品茶养心,人生如梦,品茶悟道,何以解忧?唯有杜康!
-- 愿君每日到此一游!

推荐文章

lisp修改上一个图素_在Windows上安装Haskell 2019-04-21
ad19 导出step 没有pcb_几款主流PCB软件哪个最好用,你用过几款? 2019-04-21
json mysql 字段 默认值_Newtonsoft.Json 六个超简单又实用的特性,值得一试 【上篇】... 2019-04-21
ocdma相干非相干_《Acconeer 60GHz脉冲相干雷达芯片:A111》 2019-04-21
修改表格字体颜色_Excel技巧:Excel如何修改字体颜色 2019-04-21
native react 变颜色 点击_React Native主动更改StackNavigator标头颜色 2019-04-21
prism项目搭建 wpf_WPF MVVM使用prism4.1搭建 2019-04-21
python发微信红包群_用Python实现微信自动化抢红包,再也不用担心抢不到红包了... 2019-04-21
python中func自定义函数_Python函数之自定义函数&作用域&闭包 2019-04-21
wget连接指定端口_端口通不通 telnet wget ssh 2019-04-21
eureka 调用服务_Spring Cloud微服务架构从入门到会用(二)—服务注册中心Eureka... 2019-04-21
easyexcel 工具类_问了个在阿里的同学,他们常用的15款开发者工具! 2019-04-21
mysql统计结果大于0时返回true_mysql表查询练习 2019-04-21
c语言对结构体排序中间变量,求助:c语言怎么实现结构体的排序? 总是弄不对啊... 2019-04-21
c语言宏定义只能在最前面吗,C语言宏定义注意事项 2019-04-21
android悬浮窗服务卡死,Android 悬浮窗兼容问题谈 2019-04-21
表格相关的html语言,HTML标记语言——表格标记 2019-04-21
web聊天界面html,PC端Web聊天界面+代码分享(HTML+CSS) 2019-04-21
cmake qt 添加路径 项目_CMake配置Qt工程 2019-04-21
使用python开发的软件协议_WEB开发——Python WSGI协议详解 2019-04-21