19、模型选择：理论与实践

模型选择：理论与实践

在机器学习和统计学中，选择合适的模型是一个至关重要的问题。本文将深入探讨模型选择的相关理论和方法，包括损失函数、贝叶斯假设检验、模型选择、奥卡姆剃刀原理以及信息准则等内容。

1. 损失函数与评分规则

在概率预测中，损失函数用于衡量预测分布与真实分布之间的差异。常见的损失函数包括交叉熵损失和Brier分数。

• 交叉熵损失 ：当给定目标标签 $c$ 时，预测分布 $q$ 的交叉熵损失可以表示为 $H(\delta(Y = c), q) = -\log q(c)$，这也被称为对数损失。交叉熵损失是一种合适的评分规则，因为当决策制定者选择与真实分布 $p$ 匹配的分布 $q$ 时，损失函数达到最小值。
• Brier分数 ：对于离散分布，Brier分数定义为 $\ell(p, q) \triangleq \frac{1}{C} \sum_{c = 1}^{C} (q(y = c|x) - p(y = c|x))^2$。它是预测分布与真实分布的平方误差，对极端罕见或常见的类别不太敏感，也是一种合适的评分规则。

2. 贝叶斯假设检验

贝叶斯假设检验用于比较两个假设或模型，通常称为原假设 $M_0$ 和备择假设 $M_1$，以确定哪个更可能为真。

• 贝叶斯因子 ：使用0 - 1损失时，最优决策是在 $p(M_1|D) > p(M_0|D)$ 时选择备择假设。如果使用均匀先验 $p(M_0) = p(M_1) = 0.5$，决策规则变为