【斯坦福---机器学习】复习笔记之特征选择

本讲大纲：

1.VC维（VC dimension）
2.模型选择（model selection）
—交叉验证（cross validation）
—特征选择（feature selection）

1.VC维

给定猜想类，定义VC维（Vapnik-Chervonenkis dimension），记作VC(H)，表示能够被分开的最大集合的尺寸（如果能够分开任意大的集合，那么）.

例如，考虑下面几个的三个点：

在二维中线性分类器能够把它们分开吗（）？显然是可以的. 事实上，任意这些点可能的八种标签情况，我们都能找到“零训练误差”的线性分类器.