语言模型？

以下将从语言模型的定义、分类、构造与评价方法，以及实际应用场景等方面，为你详细讲解语言模型的相关知识：

一、什么是语言模型？

• 核心本质：语言模型是判断一句话是否 “合理” 或 “像人话” 的模型，本质上是计算文本的成句概率。
  例如：P (“今天天气不错”) > P (“今错不天气天”)，前者概率更高，说明更符合语言规律。
• 通俗理解：懂语言的人能直觉判断句子是否通顺，而语言模型通过数学方法量化这种判断。

二、语言模型的种类

（一）按技术路线分类

1. 统计语言模型（SLM）
   • 代表：N-gram 模型（基于词频统计）。
   • 原理：假设句子中每个词的出现只依赖于前面有限的词（马尔可夫假设），通过计算词频统计概率。
2. 神经语言模型（NLM）
   • 代表：RNN、LSTM 等神经网络模型。
   • 原理：通过神经网络学习语义的向量化表示，泛化能力更强。
3. 预训练语言模型（PLM）
   • 代表：BERT、GPT。
   • 特点：在大规模语料上预训练后，可适配多种下游任务。
4. 大语言模型（LLM）
   • 代表：ChatGPT、GPT-4。
   • 特点：参数量庞大，具备更强的理解、生成和推理能力。

（二）按建模方式分类

1. 自回归（AR）模型
   • 原理：由上文预测下文（或反之），单向