nn.CrossEntropyLoss()和手算交叉熵

以计算[[17.95,13.84],[14.96,17.59]]的交叉熵数值，label为[0,1] 为例，手动方法为：

与使用nn.CrossEntropyLoss()函数计算结果不同，可能是由于两种方法的实现细节不同所致。总之计算可以分为3步 ：

1. 首先，将模型输出应用softmax函数，将输出转换为概率分布。
2. 然后，将标签转换为类别索引。在本例中，标签为[0, 1]，将转换为类别索引[0, 1]。
3. 最后，计算交叉熵损失，公式如下
   .
   在第二步计算时，nn.CrossEntropyLoss()函数在计算log softmax时会减去一个常数，这个常数的值是输入中的最大值。这个常数的引入会使得最终的交叉熵结果发生偏移。因此和手动算的不一样。
   可以通过
   max_val = torch.max(input, dim=1).values
   log_softmax = F.log_softmax(input, dim=1)
   log_softmax -= max_val.view(-1, 1)
   然后代入公式可以得到结果0.0226