53、信息提取与知识图谱：自然语言处理的关键技术

信息提取与知识图谱：自然语言处理的关键技术

1. 知识图谱助力AI填补常识知识鸿沟

AI可利用知识图谱填补大语言模型中的常识知识缺口，有望实现部分围绕大语言模型和AI的期望。知识图谱是创建真正AI所需的自然语言处理链条中缺失的一环。借助知识图谱，能够以编程方式生成有意义的文本，因为它基于数据库中的事实。甚至还能推断出知识库中尚未包含的关于世界的新事实或逻辑推论。

深度学习语言模型使用统计方法来估计或猜测你输入文本中的下一个单词。然而，单词并不包含机器进行事实正确推断所需的关于世界的所有知识，因此需要采用一种经过验证的逻辑推理方法——符号推理。若熟悉编译器的概念，可将依赖树视为解析树或抽象语法树（AST），它定义了机器语言表达式或程序的逻辑。利用自然语言依赖树可以提取自然语言文本中的逻辑关系，这有助于为统计深度学习模型提供基础，使其不仅仅是对世界进行统计“猜测”。

2. 基于知识图谱的接地处理

接地是将大语言模型的响应锚定在现实世界知识中的过程，可以通过相关事实、来源或与用户相关的信息来实现。之前我们了解到一种接地大语言模型的方法是从知识库中检索并提供非结构化文本，而现在我们将看到另一种利用结构化知识——知识图谱的有效方法。

接地处理还能以其他方式使自然语言处理（NLP）管道受益。在算法的推理部分使用知识图谱可以让语言模型专注于其擅长的事情：生成合理、符合语法的文本。这样可以对语言模型进行微调，使其具有所需的语气，而无需构建一个假装理解和推理世界的“变色龙”。知识图谱可以设计为仅包含希望AI理解的关于世界的事实，无论是现实世界的事实还是虚构世界的事实。通过将推理与语言分离，可以创建一个听起来正确且实际上也正确的NLP管道。