07[NLP训练营]语言模型

Language Model Introduction

语言模型用来判断：是否一句话从语法上通顺
比较：
今天是周日VS今天周日是
全民Al是趋势VS趋势全民Al是
LM是如何判断上面的句子是否符合语法的呢？
如果我们有一个pretrained的LM，对于上面两个例子，就该有：
$$p_{LM}(今天是周日)>p_{LM}(今天周日是)$$
$$p_{LM}(全民AI是趋势)>p_{LM}(趋势全民AI是)$$

LM 的目标

Compute the probability of a sentence or sequence of words.
$$p(s)=p(w_1,w_2,w_3,w_4,w_5\cdots w_n)\text{\hspace{1em}(1)}$$
$w_1,w_2,w_3,w_4$是句子s中的单词

Chain Rule for Language Model

Chain Rule推导在第一节有，这里不重复了，根据Chain Rule，公式（1）可以写为：
$$p(s)=p(w_1,w_2,w_3,w_4,w_5\cdots w_n)=p(w_1)p(w2|w_1)p(w_3|w_1{w}_2)p(w_4|w_1{w}_2{w}_3)p(w_5|w_1{w}_2{w}_3{w}_4)\cdots p(w_n|w_1{w}_2{w}_3{w}_4\cdots w_{n-1})$$
根据这个公式，下面看一个例子：

那么再来看里面的每一项是如何计算，假如我们有一个文档，文档中有两句这个话：
今天是春节我们都休息。
今天是春节我们都放假。
由于“今天是春节我们都”这句话后面有两个词，一个是“休息”，一个是“放假”，那么我们说：
$$p(休息|今天，是，春节，我们，都)=\frac{1}{2}$$
$$p(运动|今天，是，春节，我们，都)=0$$
从上面的计算我们可以看到，有很多项的概率计算的结果很容易是0（只要文档中没有出现过的都是0），那么我们把这个现象称为sparse，下面我们看如何解决这个问题。

Markov Assumption

马尔科夫假设就是用来近似的计算上面的概率的。
1st order Markov Assumption
$$p(休息|今天，是，春节，我们，都)=p(休息|都)$$
只关注最近的一个词
2nd order Markov Assumption
$$p(休息|今天，是，春节，我们，都)=p(休息|我们，都)$$
3rd order Markov Assumption
$$p(休息|今天，是，春节，我们，都)=p(休息|春节，我们，都)$$
抽象为具体的公式：
1st order Markov Assumption：
$$\begin{gathered} p(s)=p(w_1,w_2,w_3,w_4,w_5\cdots w_n)=p(w_1)p(w2|w_1)p(w_3|w_2)p(w_4|w_3)p(w_5|w_4)\cdots p(w_n|w_{n-1}) \\ =p(w_1)\prod _{i=2}^n(w_i|w_{i-1}) \end{gathered}$$
2nd order Markov Assumption：
$$\begin{gathered} p(s)=p(w_1,w_2,w_3,w_4,w_5\cdots w_n)=p(w_1)p(w2|w_1)p(w_3|w_1{w}_2)p(w_4|w_2{w}_3)p(w_5|w_3{w}_4)\cdots p(w_n|w_{n-1}) \\ =p(w_1)p(w_2|w_1)\prod _{i=3}^n(w_i|w_{i-2}{w}_{i-1}) \end{gathered}$$
3rd order Markov Assumption：
$$\begin{gathered} p(s)=p(w_1,w_2,w_3,w_4,w_5\cdots w_n)=p(w_1)p(w2|w_1)p(w_3|w_1{w}_2)p(w_4|w_1{w}_2{w}_3)p(w_5|w_2{w}_3{w}_4)\cdots p(w_n|w_{n-3}{w}_{n-2}{w}_{n-1}) \\ =p(w_1)p(w_2|w_1)p(w_3|w_1{w}_2)\prod _{i=4}^n(w_i|w_{i-3}{w}_{i-2}{w}_{i-1}) \end{gathered}$$

LM计算实例（based 1st order）

假如已知：
$$\begin{gathered} p(是|今天)=0.01 \\ p(今天)=0.002 \\ p(周日|是)=0.001 \\ p(周日I今天)=0.0001 \\ p(周日)=0.02 \\ p(是|周日)=0.0002 \end{gathered}$$
比较：今天是周日VS今天周日是 两句话的概率


可以看到：
$$p(今天是周日)>p(今天周日是)$$
根据刚才的Markov Assumption，我们可以有不同的LM，下面具体来看。

Language Model

Language Model: Unigram

公式：
$$p(s)=p(w_1,w_2,w_3,w_4,w_5\cdots w_n)=p(w_1)p(w2)p(w_3)p(w_4)p(w_5)\cdots p(w_n)$$
下面看例子：
$$p(今天，是，春节，我们，都，休息)=p(今天)p(是)p(春节)p(我们)p(都)p(休息)$$
同样的
$$p(今天，春节，是，都，我们，休息)=p(今天)p(春节)p(是)p(都)p(我们)p(休息)$$
可以看到虽然单词位置不一样了，但是计算出来的句子概率都一样，但是上面的句子明显语法要好得多。Unigram的缺点就是不考虑单词的位置。

Language Model: Bigram

基于1st order Markov Assumption
$$\begin{gathered} p(s)=p(w_1,w_2,w_3,w_4,w_5\cdots w_n)=p(w_1)p(w2|w_1)p(w_3|w_2)p(w_4|w_3)p(w_5|w_4)\cdots p(w_n|w_{n-1}) \\ =p(w_1)\prod _{i=2}^n(w_i|w_{i-1}) \end{gathered}$$
同样是上面两句话：

当然还可以有Trigram，以此类推后：

Language Model: N-gram

当N>2的时候，也把这个模型称为：higher order LM
最常用还是N=2
如果N=3，就相当于2nd order Markov Assumption。
下面来看看如何来估计模型的概率

估计语言模型的概率

Unigram:Estimating Probability

先看看公式：
$$p(s)=p(w_1,w_2,w_3,w_4,w_5\cdots w_n)=p(w_1)p(w2)p(w_3)p(w_4)p(w_5)\cdots p(w_n)$$
这里面的每个单词概率$p(w_n)$怎么求？
用一个单词在文档出现的次数，除以文档中单词的总数。
看例子：
语料库如下：

那么下面这句话的概率计算如下图所示：结果是$\frac{2}{19^4}$

再看另外一句话：

由于“没有”这个词没有在语料库中出现，导致整句话的概率为0，这个明显不合理的。
解决方案就是在没有出现过的词语分子上加一个很小的值（这个值也叫：平滑项）。

Bigram:Estimating Probability

先看公式：
$$\begin{gathered} p(s)=p(w_1,w_2,w_3,w_4,w_5\cdots w_n)=p(w_1)p(w2|w_1)p(w_3|w_2)p(w_4|w_3)p(w_5|w_4)\cdots p(w_n|w_{n-1}) \\ =p(w_1)\prod _{i=2}^n(w_i|w_{i-1}) \end{gathered}$$
那么里面的每一项：$p(w_n|w_{n-1})$如何计算？看例子：


看例子：
语料库如下：

注意，第一今天的概率用的是unigram的算法来计算。


这里也有某项为0，整个句子的概率也为0的情况。同样可以用平滑项来优化。

N-gram:Estimating Probability

N=3，用同样的语料库：
$$p_{LM}(今天上午有课程)=p_{LM}(今天)p_{LM}(上午|今天)p_{LM}(有|今天，上午)p_{LM}(课程|今天，上午，有)$$
其中：$p_{LM}(有|今天，上午)=1/2$
$p_{LM}(课程|今天，上午，有)=1$

评估语言模型Evaluation of Language Model

Q：训练出来的语言模型效果好还是坏？
理想情况下
1.假设有两个语言模型A，B；
2.选定一个特定的任务。比如：拼写纠错；
3.把两个模型A，B都应用在此任务中；
4.最后比较准确率，从而判断A，B的表现。
注意：以上的评估是理想状态，要想完成以上的评估，需要很长的时间或者很多精力。我们希望能找到一种方法，不用执行特定的任务，就能直接判定模型的好坏。这个就是：

Perplexity(困惑度)

公式：
$$Perplexity=2^{-(x)}\text{ x:average log likelihood}$$
Perplexity通常用于无监督学习的模型的评估。x是在训练集中计算出来的 ，我们希望x越大越好。
一般，我们是把LM放到语料库中，就可以得到x：

Perplexity是越小越好。下看例子如何计算Perplexity：
假设训练好的Bigram
p(天气|今天)=0.01
p(今天)=0.002
p(很好|天气)=0.1
p(适合|很好)=0.01
p(出去|适合)=0.02
p(运动|出去)=0.1
针对语料库，计算出对应的likelihood：

再把计算出来的likelihood分别取对数log，然后求平均：
$$x=\frac{\log 0.002+\log 0.01+\log 0.1+\log 0.01+\log 0.02+\log 0.1}{6}$$
然后把x带入困惑度公式即可。
当然，除了困惑度，还有召回率，精确率等指标用于不同场景。
Training 38 millon words, test 1.5 million words, WSJ（by Dan Jurafsky）

n-gram，n越大越容易过拟合。
这里直接给出的是困惑度的公式，没有给这个公式怎么来的，具体看word2vec的论文带读：深度之眼Paper带读笔记NLP.2：word2vec.baseline.1

平滑处理Smoothing

问题引入

在Estimating Probability这节中，我们需要对等于0的概率进行处理，如果不处理就会出现两个明显不同的语句概率都为0的情况，无法分辨语法的好坏。

语料库
今天 上午 的 天气 很好
我 很 想 出去 运动
但 今天 上午 有 课程
训练营 明天 才 开始

使用Bigram计算：

由于画圈的两项都没有在语料库中出现，所以这两项的值为0，导致这两句话的概率都为0，但是我们看到下面的那句话明显要比上面那句话语法要好。
因此我们要引入平滑项。

Add-one Smoothing(Laplace Smoothing)

没有加平滑项之前：
$$P_{MLE}(w_i|w_{i-1})=\frac{c(w_{i-1},w_i)}{c(w_i)}\text{\hspace{1em}(2)}$$
这里的分子很容易等于0，因此我们给分子加上1，即便词语没有出现在语料库中，整个项也不会等于0了。
加平滑项之后：
$$P_{Add-1}(w_i|w_{i-1})=\frac{c(w_{i-1},w_i)+1}{c(w_i)+V}$$
V代表语料库中的单词数量
这里为什么分母要加上V呢？而不是别的数，或者不是2V，3V呢？看例子来理解：

语料库
今天 上午 的 天气 很好
我 很 想 出去 运动
但 今天 上午 有 课程
训练营 明天 才 开始

这里V=17
用公式2来计算概率：
“今天”出现两次，两次后面都接的“上午”，所以分子分母都有2，然后再分别加1和V：

对于语料库中的其他所有的词都没有出现在“今天”后面，所以分子是0，分母还是2

这些词一共有16个，所以整个概率就是：
$$\frac{3}{19}+\underset{16个}{\frac{1}{19},\cdots ,\frac{1}{19}}=1$$
所有可能性加起来要等于1，这是为什么要在分母加V的理由。

Add-K Smoothing

和Add-one Smoothing非常像，只是把1改为k
$$P_{Add-k}(w_i|w_{i-1})=\frac{c(w_{i-1},w_i)+k}{c(w_i)+kV}$$
当k=1时，就和Add-one Smoothing一样了。
同样的语料库，我们来看看k=3的情况：

那么不同的k应该如何选择？
方法1：分别把$k=1,2,3,4,5,6,...,100$代入，然后比较
方法2：把k看做参数，得到一个函数$f(k)$，来进行优化。那么我们可以用之前的困惑度来评出k的最优值。

Interpolation

先看例子，假如说我们从语料库从得到下面词语的出现次数：
C(in the kitchen)=0
C(the kitchen)=3
C(kitchen)=4
C(arboretum)=0
然后分别计算下面两个东西的条件概率，发现由于C(in the kitchen)=0，下面第一个是为0，由于C(arboretum)=0，所以第二个也是0。
p(kitchen | in the)=0
p(arboretum | in the)=0
按理来说第一个短语的概率要比第二个要高才对。
改进的核心思路：
在计算Trigram概率时同时考虑Unigram，Bigram，Trigram出现的频次。
$$\begin{array}{rl}p(w_n|w_{n-1},w_{n-2})& ={\lambda }_{1}p(w_n|w_{n-1},w_{n-2})\\ & +{\lambda }_{2}p(w_n|w_{n-1})\\ & {\lambda }_{3}p(w_n)\\ {\lambda }_1+{\lambda }_2+{\lambda }_3=1& \end{array}$$

Good-Turning Smoothing

https://blog.csdn.net/lt326030434/article/details/87893601

引例

假设你在钓鱼，已经抓到了18只鱼：
10条鲤鱼，3条黑鱼，2条刀鱼，1条鲨鱼，1条草鱼，1条鳗鱼……
Q1：下一个钓到的鱼是鲨鱼的概率是多少？
之前总共18只鱼，只有一条是鲨鱼，所以下一条是鲨鱼的概率是1/18。
Q2：下一条鱼是新鱼种（之前没有出现过）的概率是多少？
之前总共18只鱼，其中包含新鱼种（各一条的）有三次，所以可以估算再次钓到新鱼种的概率是3/18
Q3：既然如此，重新想一下，下一条抓到的鱼为鲨鱼的概率是多少？
问题1没有考虑新鱼种，所以下一条是鲨鱼的概率是1/18，但是考虑新鱼种后，我们要吧概率分一些给新的鱼种，所以在这个条件下下一条是鲨鱼的概率是明显要小于1/18才对。下面来看Good-Turning Smoothing是怎么计算这个考虑新物种的概率。

说明

$N_c$记为出现c次的单词的个数（有多少个单词出现了c次）
例：Sam I am I am Sam I do not eat
Sam：2次
I：3次
am：2次
do：1次
not：1次
eat：1次
那么在这个句子里面$N_3=1,N_2=2,N_1=3$

有的地方用这个：$P_{GT}=\frac{(c+1)N_{c+1}}{N_c}$搞不懂。。。。
先用鱼来算一下：
假设你在钓鱼，已经抓到了18只鱼：
10条鲤鱼，3条黑鱼，2条刀鱼，1条鲨鱼，1条草鱼，1条鳗鱼……


根据上面的钓鱼例子，我们大概可以推断一般情况下（不是绝对）：
$$P_{GT}<P_{MLE}$$
下面看词的例子：

Adjusted count是GT算法估计出来概率
下一个单词是没有出现过的单词的概率（就是$P(新词)=\frac{N_1}{N}$）：
$$0.00015=\frac{N_1}{N}=\frac{1132844}{7514941065}$$
下一个是出现过一次的单词：
$$P_{GT}=\frac{(c+1)N_{c+1}}{N_c}=\frac{(1+1)263611}{1132844}=0.46539$$
以此类推，可以看到计算结果和Test count的结果很接近。

缺点及解决

可以看到这个方法在计算出现c频次的单词个数概率的计算要依赖c+1频次的单词出现次数。
假如在文章中出现100次的单词个数概率要先得到出现101次的单词个数，如果101刚好缺失就无法计算了。这个时候我们观察上面的表可以看到，随着频次增加，单词出现的个数是下降的，所以我们可以用曲线拟合一下，估计一下缺失值。