论文阅读Neural Association Models

论文题目归属及框架

背景与动机

在本文中，作者提出了一种新的深度学习方法——神经关联模型(NAM)，用于AI中的概率推理。作者建议使用神经网络来模拟一个领域中任意两个事件之间的关联。神经网络将一个事件作为输入，并计算出另一个事件的条件概率，以模拟这两个事件关联的可能性。与现有的线性模型不同，该NAM模型利用的是深度神经网络中的多层非线性激活来模拟它们的关联。

在这项工作中，作者研究了两种NAM模型结构。第一个模型是标准的深度神经网络(DNN)，第二个模型使用一种特殊的结构称为关系调制神经网络(RMNN)。

在多种知识图谱任务上进行实验后表明，两个模型均能优于其它常规的方法。更值得一提的是，RMNN在知识迁移学习方面的表现尤为突出，在只观察少量训练样本的情况下，预先训练的模型可以迅速扩展到新的关系。

贡献

• 我们提出了基于深度神经网络的概率推理神经关联模型，该模型具有足够的通用性，可以处理符号事件的各种推理问题。
• 本工作研究的一种特定的模型(RMNN)对于知识转移学习非常有效，它可以快速地将现有的知识库适应于新遇到的场景和情境。
• 第一个证明DNNs具有多层非线性的工作

统计关系学习

统计关系学习，Statistical Relation Learning(SRL)，

SRL试图将实体集E和关系集R上的每一个可能的三元组xijk = (ei, rk, ej)建模为二元随机变量yijk∈{0,1}，表示真或假。

SRL模型的似然函数如下:

σ(·)表示sigmoid function

Ber (y|p)为伯努利分布

该函数的输入为一个三元组向量，通过score functionf()，来计算其得分。把得分投到sigmoid激活函数中，实现归一化，用以表示概率

NAM

NAM模型以事件E1的向量作为输入，计算E2事件的条件概率

如果事件 E2 是二值的（True or False），NAM 用 sigmoid 函数计算 $Pr(E2|E1)$；如果 E2 是多值的，则 NAM 使用 softmax 计算 P r ( E 2 ∣ E 1 ) P