CNN (Convolutional Neural Network) 实现平移等变性的结构设计（Architectural Design）- 权值共享(Weight Sharing )还是参数共享(P

CNN (Convolutional Neural Network) 实现平移等变性的结构设计（Architectural Design）- 权值共享(Weight Sharing )还是参数共享(Parameter Sharing)

flyfish

参数共享（Parameter Sharing，也称权值共享 Weight Sharing）

Parameter Sharing（参数共享）更加规范。

原因如下。

1. Weight Sharing（权值共享）

例如介绍 CNN 时，经常会写：

CNNs are also known as shift invariant or space invariant artificial neural networks, based on the shared-weight architecture of the convolution kernels or filters that slide along input features and provide translation-equivariant responses known as feature maps.[

Weight sharing in CNNs significantly reduces model parameters, leading to less computational cost and lower memory usage while preventing overfitting.

This weight sharing reduces the number of parameters even further and
encourages the network to learn features that are invariant to small
translations of the input.

这里的 weight 指的就是卷积核里的权重矩阵。

例如一个$3\times 3$ 卷积核：

$$\left[\begin{array}{ccc}{w}_1& w_2& w_3\\ w_4& w_5& w_6\\ w_7& w_8& w_9\end{array}\right]$$

当卷积核在整张图片滑动时，这 9 个 weight 会不断重复使用，因此叫 Weight Sharing。

所以这个名字没有问题。

2. Parameter Sharing（参数共享）

后来深度学习的发展中，大家越来越喜欢用 Parameter Sharing。

因为：

weight 只是 parameter 的一种。

神经网络里的 parameter 包括：

weight（权重）
bias（偏置）

例如一个卷积层：

Conv2d
├── weight
└── bias

虽然在 CNN 中，两者几乎可以认为等价，但是真正共享的是整个卷积核参数（通常包括 weight，也可能包括 bias），因此：

Parameter Sharing 比 Weight Sharing 更准确。