20、知识提取与分类模型的优化探索

知识提取与分类模型的优化探索

在数据处理和分析领域，知识提取和分类模型的优化一直是重要的研究方向。下面将详细介绍两种不同但相关的方法，一种是从文档中进行非正式轻量级知识提取，另一种是使用结合项目分类法的新兴模式进行分类。

非正式轻量级知识提取

知识提取流程

从一组文档中自动提取通用概念（GCs）的整个过程由两个阶段组成：
1. 概念识别 ：从词汇表中识别概念，即学习单词 - 概念关系。
2. 关系计算 ：计算概念之间的关系，也就是图学习。

这两个阶段都涉及参数的选择，这些参数可以手动设置，也可以自动设置。

参数优化

以语料库中的一篇文档为例（选择多篇文档时该过程同样适用），文档包含 V 个单词/概念。通过主题模型，可以计算每个概念的概率分布，并从一组合理的概念中选择特定数量的概念 H。这里，H 是一个变量，其最佳值可以通过某种优化过程来确定。

选择了一定数量的概念后，还剩下两个步骤：
1. 为每个概念 ci 确定一个阈值 μi，用于选择概念 - 单词关系 ρis 的数量。
2. 计算值 τ，以确定最可能的概念 - 概念关系 ψij。

综上所述，需要找到参数 H（确定概念的数量）、τ 的值，以及对于所有 i ∈[1,···,H]的 μi 的值。因此，共有 H + 2 个参数来调节本体的形状。

本体评估与优化

判断一个本体对于一组文档是否是最佳的方法是，当使用该本体作为知识库在仅包含构建该本体所用文档的集合中进行查询时，