1. 核心概念
Instance Normalization（实例归一化，简称InstanceNorm） 是深度学习中一种特征归一化技术。它的核心思想是：对每个样本的每个通道的特征图进行独立的归一化。
简单来说，它计算每个样本、每个通道的均值和方差，并用这些统计量来归一化该通道的特征值。
2. 与BatchNorm、LayerNorm的对比（非常重要！）
要理解InstanceNorm，最好通过与更常见的归一化方法对比。假设我们的输入张量形状为 (N, C, H, W)：
N：Batch Size（批次大小，样本数量）C：Channels（通道数）H：Height（高度）W：Width（宽度）
| 归一化方法 | 计算均值和方差的维度 | 计算公式 | 适用场景 |
|---|---|---|---|
| BatchNorm | 跨样本，同一通道(N, H, W) |
μc=1NHW∑n=1N∑h=1H∑w=1Wxnchw\mu_c = \frac{1}{NHW}\sum_{n=1}^N\sum_{h=1}^H\sum_{w=1}^W x_{nchw}μc=NHW1∑n=1N∑h=1H∑w=1Wxnchw | 标准CNN， batch size较大且稳定时 |
| LayerNorm | 跨通道、高、宽，同一样本(C, H, W) |
μn=1CHW∑c=1C∑h=1H∑w=1Wxnchw\mu_n = \frac{1}{CHW}\sum_{c=1}^C\sum_{h=1}^H\sum_{w=1}^W x_{nchw}μn=CHW< |
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
