超级会员免费看
文本数据挖掘：分层共聚类与特殊组合模式发现
1. 引言
随着文本数据在各个领域的不断丰富，如网页文档和基因组序列等，对文本数据进行分析并从中提取有用知识变得越来越重要。因此，文本挖掘受到了越来越多的关注。在数据挖掘领域，发现异常模式一直是一个重要的研究方向，因为异常事件往往能启发新的发现。
传统上，衡量文本数据中异常模式的常用方法是 z - score。其定义为 (z(w) = \frac{f(w) - E(w)}{N(w)})，其中 (f(w) > 0) 表示观察到的频率，(E(w)) 是其期望值，(N(w)) 是归一化因子。给定阈值 (\alpha)，若 (z(w) > \alpha) 或 (z(w) < -\alpha)，则模式 (w) 被认为是异常的。然而，这种基于统计测试的方法存在一些问题：
- 需要合适的概率模型 ：简单模型计算方便，但难以描述数据细节；复杂模型能较好描述数据，但获取模型参数的计算成本高。例如，Bernoulli 模型假设每个字母独立出现，而 Markov 模型中第 (i) 个字母 (a_i) 的概率依赖于前 (k) 个字母，但 (k) 值需要预先给定且难以自动确定合适值。
- 难以解释结果 ：基于统计测试得到的模式，我们只能知道其频率相对于期望值是罕见还是丰富，难以理解其实际意义。
- 不适用于稀疏文本数据 ：简单概率模型使用短子模式估计长模式概率，对于稀疏文本数据中许多未出现的长模式，估计不准确。
为解决这些问题，我们引入了背景文本集 (B) 和目标文本集 (T)，并定义了一种新的模式形式
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
