通用语言模型GLM

1、背景

ChatGLM-6B作为首个针对中英双语训练并对中文进行优化的开源大规模语言模型，自3月14日开源以来，全球下载量已达300万，成为国内最火的开源语言大模型。5月份，科技部在中关村论坛上发布的《中国人工智能大模型地图研究报告》显示 ChatGLM-6B 位列大模型开源影响力第一名。ChatGLM-6B是基于GLM架构对中文问答和对话进行了优化。

2、GLM 预训练框架

        1.目标：

                NLU(自然语言理解：分类、实体识别）

                Unconditional generation（无条件文本生成：随机写诗等任务）

                Conditional generation（条件文本生成：摘要生成等任务）

        2.解决方案

        ○具体流程                

                ⭐️（核心）自回归空白填充（Autoregressive Blank Infilling） 

                        （a）输入文本