文章目录
- 论文总述
- 2、感受野的定义
- 3、理论感受野大小的计算
- 4、3种增加感受野的操作
- 5、感受野中心像素的值对输出feature map 的response影响比边缘的像素更大
- 6、如何知道feature map上的点受谁的影响
- 7、 Comparing the effect of number of layers, random weight initialization and nonlinear activation on the ERF.
- 8、ERF √n absolute growth and 1/√n relative shrinkage
- 9、How the ERF evolves during training
- 10、Reduce the Gaussian Damage(增大有效感受野)
- 11、ERF小于RF的一种解释maybe
论文总述
这篇论文主要研究的是有效的感受野,发现有效的感受野只是理论感受野的一部分,并且呈高斯分布,理论感受野可以大于原图,但有效的感受野一般都小于原图尺寸,另一个有意思的地方是有效感受野的大小经过训练之后是可以变大的,论文中有实验表明。
记录下这篇论文,并不是因为学到很多东西(当然这篇论文里有些东西,但理解不了),而是因为感受野这个东西很重要,好多网路都是设计了有效的感受野,让其可以覆盖目标足够的有效信息,然后训练,网络才会work,如果感受野没有达到那么大,但你又非要让他学到那么东西,那网络应该很难work,SSD中的先验框以及faster rcnn中的anchor应该都有这个意思,自己瞎猜的,这篇论文里提到在图像分割里感受野更重要,需要更合适;另一个原因是这篇论文证明有效的感受野呈高斯分布时的理论推导用到了傅里叶变换,这是我目前看到的数学公式最多的CNN的论文。
另一点就是最近在看SiamDW时,里面也说到了感受野的大小很重要,一般最后一层对应着模板图像Z的60%到80%,这感受野就挺合适,虽然理论上可以大于原图,但不能这么做,这样跟踪效果不好。
2、感受野的定义
One of the basic concepts in deep CNNs is the receptive field, or field of view, of a unit in a certain layer in the network. Unlike in fully connected networks, where the value of each unit depends on the
entire input to the network, a unit in convolutional networks only depends on a region of the input.
This region in the input is the receptive field for that unit.
在卷积神经网络CNN中,决定某一层输出结果中一个元素所对应的输入层的区域大小,被称作感受野receptive field。
3、理论感受野大小的计算
i) 这种方式为从后往前推,即计算哪层的感受野,就把它当做网络的最后一层,然后往前推导;

【注】:
最后一层(卷积层或池化层)输出特征图感受野的大小等于卷积核的大小。
第i层卷积层的感受野大小和第i层的卷积核大小和步长有关系,同时也与(i+1)层感受野大小有关。
计算感受野的大小时忽略了图像边缘的影响,即不考虑padding的大小。(?)
ii) 这种是从前往后推,逐层计算感受野的大小


nout表示feature map的尺寸,j表示jump,原图的jump=1,rout表示感受野大小,start为输出feature map感受野的中心位置。
iii) 一步到位,只计算感受野,也是从前往后推


本文深入探讨了卷积神经网络(CNN)中的感受野概念,包括其定义、计算方法及影响因素。研究发现,有效感受野仅占理论感受野的一部分,且呈高斯分布。文章分析了感受野中心像素对输出响应的较大影响,以及不同操作如增加网络深度、下采样和dilate操作对感受野大小的影响。
8733

被折叠的 条评论
为什么被折叠?



