在学习自然语言处理是,发现CTC一般会配合语言模型(Language Model),用于提升最终的性能。那么,语言模型是什么呢?又是如何提升性能的?
看过一些关于语言模型的介绍,知乎上这一篇文章讲的稍显通俗易懂:https://zhuanlan.zhihu.com/p/52061158
语言模型的本质就是对语句概率的建模,输入一个语句,给出对应的概率,看看哪个语句的概率更高,更像人话。
常见的语言模型有两种:统计语言模型(n-gram),神经网络语言模型(RNN)
统计语言模型
n-gram 语言模型如下:
(1)当n=1时,称为uni-gram, P ( w 1 , w 2 , … , w n ) = ∏ i = 1 n P ( w i ) P\left(w_{1}, w_{2}, \ldots, w_{n}\right)=\prod_{i=1}^{n} P\left(w_{i}\right) P(w1,w2,…,wn)=∏

语言模型是自然语言处理中对语句概率的建模,用于评估句子的合理性。常见模型包括统计语言模型如n-gram,以及神经网络语言模型如RNN。n-gram模型通过平滑技术解决零概率问题,而神经网络模型能捕捉更复杂的上下文依赖。文章介绍了n-gram的平滑技术类型和训练工具,并提到了神经网络模型的相关资源。
7410

被折叠的 条评论
为什么被折叠?



