超级会员免费看
卷积神经网络与图卷积网络技术解析
1. 卷积神经网络训练要点
1.1 归一化策略
在卷积神经网络（CNN）的训练中，归一化是一项关键技术，它能够显著提升训练效率。其中，批量归一化（Batch Normalization）表现突出，它通过在训练过程中保持激活值的稳定性，有效避免了梯度消失或梯度爆炸的问题。这使得我们可以使用更大的学习率，并且减少了训练对初始化的依赖，在某些情况下还能替代Dropout作为正则化手段。
然而，批量归一化在小批量数据下会变得不稳定，特别是在处理大输入数据的场景，如分割和检测任务。为了解决这个问题，人们提出了不同的归一化方法，主要区别在于对公式（3.28）中均值和方差的计算方式：
- 实例归一化（Instance Normalization） ：单独处理每个输入样本。
- 层归一化（Layer Normalization） ：同样单独处理输入样本，但会对所有通道计算平均值。
- 组归一化（Group Normalization） ：将部分通道分组来计算统计信息。
实例归一化和层归一化可以看作是组归一化的极端情况，前者组大小为1，后者组大小为所有通道数。层归一化和实例归一化在序列模型（如循环神经网络RNN）或生成模型（如生成对抗网络GAN）中应用广泛，而组归一化在需要小批量数据的视觉识别任务中效果良好。
| 归一化方法 | 处理方式 | 应用场景 |
|---|
订阅专栏 解锁全文
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
