论文阅读:Understanding the Effective Receptive Field in Deep Convolutional Neural Networks

本文深入探讨了卷积神经网络(CNN)中的感受野概念,包括其定义、计算方法及影响因素。研究发现,有效感受野仅占理论感受野的一部分,且呈高斯分布。文章分析了感受野中心像素对输出响应的较大影响,以及不同操作如增加网络深度、下采样和dilate操作对感受野大小的影响。

论文总述

这篇论文主要研究的是有效的感受野,发现有效的感受野只是理论感受野的一部分,并且呈高斯分布,理论感受野可以大于原图,但有效的感受野一般都小于原图尺寸,另一个有意思的地方是有效感受野的大小经过训练之后是可以变大的,论文中有实验表明。

记录下这篇论文,并不是因为学到很多东西(当然这篇论文里有些东西,但理解不了),而是因为感受野这个东西很重要,好多网路都是设计了有效的感受野,让其可以覆盖目标足够的有效信息,然后训练,网络才会work,如果感受野没有达到那么大,但你又非要让他学到那么东西,那网络应该很难work,SSD中的先验框以及faster rcnn中的anchor应该都有这个意思,自己瞎猜的,这篇论文里提到在图像分割里感受野更重要,需要更合适;另一个原因是这篇论文证明有效的感受野呈高斯分布时的理论推导用到了傅里叶变换,这是我目前看到的数学公式最多的CNN的论文。

另一点就是最近在看SiamDW时,里面也说到了感受野的大小很重要,一般最后一层对应着模板图像Z的60%到80%,这感受野就挺合适,虽然理论上可以大于原图,但不能这么做,这样跟踪效果不好。

2、感受野的定义

One of the basic concepts in deep CNNs is the receptive field, or field of view, of a unit in a certain layer in the network. Unlike in fully connected networks, where the value of each unit depends on the
entire input to the network, a unit in convolutional networks only depends on a region of the input.
This region in the input is the receptive field for that unit.

在卷积神经网络CNN中,决定某一层输出结果中一个元素所对应的输入层的区域大小,被称作感受野receptive field。

3、理论感受野大小的计算

i) 这种方式为从后往前推,即计算哪层的感受野,就把它当做网络的最后一层,然后往前推导;
在这里插入图片描述

【注】:

最后一层(卷积层或池化层)输出特征图感受野的大小等于卷积核的大小。
第i层卷积层的感受野大小和第i层的卷积核大小和步长有关系,同时也与(i+1)层感受野大小有关。
计算感受野的大小时忽略了图像边缘的影响,即不考虑padding的大小。(?)

ii) 这种是从前往后推,逐层计算感受野的大小
在这里插入图片描述

在这里插入图片描述

nout表示feature map的尺寸,j表示jump,原图的jump=1,rout表示感受野大小,start为输出feature map感受野的中心位置。

iii) 一步到位,只计算感受野,也是从前往后推

在这里插入图片描述

评论 6
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值