深度学习之CNN一 卷积与池化

1 卷积

连续：
一维卷积：$s(t)=(x*w)(t)=\int x(a)w(t-a)dt$
二维卷积：$S(t)=(K*I)(i,j)=\int\int I(i,j)K(i-m,j-n)dmdn$
离散：
一维卷积：$s(t)=(x*w)(t)=\sum_{a} x(a)w(t-a)$
二维卷积：$S(i,j)=(K*I)(i,j)=\sum_{m}\sum_{n} I(i,j)K(i-m,j-n)$

卷积具有交换性，即
$(K*I)(i,j)=(I*K)(i,j)$
$\sum_{m}\sum_{n} I(i,j)K(i-m,j-n)=\sum_{m}\sum_{n} I(i-m,j-n)K(i,j)$

编程实现中:
二维卷积：$S(t)=(K*I)(i,j)=\sum_{m}\sum_{n} I(i+m,j+n)K(i,j)$
这个定义就不具有交换性

上面的$w,K$称为核，$s(t),S(i,j)$有时候称为特征映射。

2 卷积神经网络

卷积神经网络主要利用3个思想：稀疏连接、参数共享、平移不变性。

• 稀疏连接
  
  一个神经元的感知视野是指能够影响该神经元的其他神经元。如上图中$x_3$的感知视野是$s_2,s_3,s_4$。深度卷经网络中，深层单元的感知视野比浅层单元的大。
  
• 参数共享
  稀疏连接和参数共享都能显著减少参数。
• 平移不变性
  参数共享会导致平移不变性。称$f(x)$对$g(x)$是不变的，如果$f(g(x))=g(f(x))$。例如$I(x,y)$是一张图像，$g(I)=I(x-1,y)$，则$(g(I)*K)=g((I*K))$。

池化（pooling）
池化输出的是邻近区域的概括统计量，一般是矩形区域。池化有最大池化、平均池化、滑动平均池化、$L^2$范数池化等。
池化能使特征获得平移不变性。如果我们只关心某些特征是否存在而不是在哪里时，平移不变性就很有用了。卷积也会产生平移不变性，注意区分，卷积对输入平移是不变的，池化对特征平移是不变的。

池化能显著地减少参数，若滑动距离stride大小为$k$，则参数量减少$k$倍

池化能解决不同规格的输入的问题。如下图池化时，将图片区域四等分，不管图片的大小。

完整的CNN结构：

由上面的两幅图可以看到，为了提取不同的特征，每个卷积层都有多种卷积（通道, channel）。
一般来说，输入并不只是一张灰度图，更多的是彩图，这样输入就是一个三维张量（tensor）$V_{i,j,k}$，表示第$i$个通道的$j$行$k$列的值。则通过卷积得到的特征$S$可表示为：$S_{i,j,k}=\sum_{l,m,n}V_{l,j+m-1,k+n-1}K_{i,l,m,n}$
其中$K$是一个四维张量，$K_{i,l,m,n}$表示卷积层的第$i$个通道与输入的第$l$个通道在行偏$m$、列偏$n$时的权重系数。式子中-1是因为C和Python中 下标是从0开始的。
滑动长度为$s$的卷积$S_{i,j,k}=\sum_{l,m,n}V_{l,(j-1)s+m,(k-1)+n}K_{i,l,m,n}$

神经网络在实现中还要注意输入的补零方式。如果不补零的话，由于卷积核的关系，特征的大小（size）总是小于输入的大小，致使整个网络的深度是有限的。

如上图所示，补零的方式有两种：
valid：也就是不补零。
same：在图像边缘补零，使得输入和输出大小相同。