分类器比较与关联规则挖掘
1. 分类器比较中的问题与方法
在比较分类器性能时,会涉及到诸多问题。有时,忽略特别有利的结果,通过降低标准误差,反而可能提高t值。这就引出了一个不太光彩但不得不提的问题——作弊。有人可能会为了获得公众认可、更高学位、奖金或晋升而故意剔除不利结果,让t值变得显著。此外,还有“自我欺骗”的问题,当新方法取得好结果后,人们往往缺乏动力去寻找可能得出更差结果的其他数据集。
当确定两个分类器在某些指定数据集上的性能差异显著后,建立置信区间是很有帮助的。以两个例子来说明:
| 例子 | 平均差值 | 标准误差 | 自由度 | t值 | 置信区间 |
| — | — | — | — | — | — |
| 例1 | 3.5 | 1.45 | 7 | 2.365 | 3.5 ± 3.429(0.071% - 6.929%) |
| 例2 | 3.9 | 1.18 | 9 | 3.250 | 3.9 ± 3.835(0.065% - 7.735%) |
在大多数情况下,我们比较分类器性能并非只关注特定数据集,而是希望新方法在所有可能的数据集上都表现更好,这就涉及到抽样问题。任何数据集集合都可看作是全球所有数据集的样本,但它是否具有代表性呢?
以广告为例,“10个女性中有8个更喜欢产品B而非产品A”这样的说法,如果只是询问了10个可能是朋友、家人或员工的女性,显然缺乏说服力。即使询问了94个女性,如果选择方式存在偏差,比如都在同一个周二上午在同一个购物中心或体育赛事上询问,也不能代表全体女性的观点。
在数据挖掘中,当看到不同分类器在多个数据集上的性能比较表时,自然会问这些数据集是如何选择的。很
超级会员免费看
订阅专栏 解锁全文
71

被折叠的 条评论
为什么被折叠?



