大语言模型（3）--GPT-2

最新推荐文章于 2026-06-21 10:29:02 发布
原创 最新推荐文章于 2026-06-21 10:29:02 发布 · 624 阅读 · 2 ·
本内容遵循CC 4.0 BY-SA版权协议
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
标签
#语言模型 #gpt #人工智能 #AIGC #自然语言处理

GPT-2（《Language Models are Unsupervised Multitask Learners》）是继GPT-1之后的第二个开源版本（考虑到技术滥用的担心只发布了mini版本），它的训练语料与参数比GPT-1多了一个数量级。正如题目，它是一个无监督、无领域知识调优的模型，然而在阅读理解、摘要生成、翻译、问答等方面可以超过多个领域下调优的已知模型。

模型

GPT-2是一个基于transformer的语言模型，在800万个网页上训练得到，它包含15亿参数。训练语料与参数数量都比GPT-1多了一个数量级。它仍使用GPT-1的模型，在此基础上做了少量调优：

  • layer norm前置到每个block的输入
  • 残差层参数使用层次N进行归一化（1/sqrt(N)
  • 词表扩大到5w+
  • 上下文词的数量从512->1024
  • batch size扩大到512

效果

GPT-2显示了很强的zero-shot能力，它的效果超过了多个基于领域语料（例如wikipedia/news/books等）训练的模型。如下图所示：

下面给出了一些问答的例子：

大语言模型的预训练[2]:GPT、GPT2、GPT3、GPT3.5、GPT4相关理论知识和模型实现、模型应用以及各个版本之间的区别详解
丨汀、的博客
07-18 7238
大语言模型的预训练[2]:GPT、GPT2、GPT3、GPT3.5、GPT4相关理论知识和模型实现、模型应用以及各个版本之间的区别详解
【AI大模型：技术原理】16、从GPT-1到GPT-3：大语言模型核心技术演进与能力涌现全解析
2025博客之星Top81。专注AI工程化与架构实战。从分布式思维到模型部署，用工程化视角为你厘清AI落地的真实路径。
06-11 1224
GPT系列的演进史，是一部“规模驱动智能涌现”的壮丽史诗：从1.17亿参数的试水，到1750亿参数的认知跃迁，其核心启示在于——当计算规模突破临界值，简单的自回归模型也能展现出复杂的认知能力。这种“量变引发质变”的规律，不仅重塑了NLP领域，更向整个AI界宣告：通用智能的实现，可能源于对简单规则的极致规模化应用。 站在GPT-3的肩膀上，我们目睹了机器从“模式匹配”到“上下文推理”的跨越，但这仅仅是起点。未来的大模型需解决长程推理的可靠性、多模态理解的深度、以及伦理安全的可控性等挑战。而这趟旅程的终极目标
深入理解深度学习——GPT（Generative Pre-Trained Transformer）：GPT-2与Zero-shot Learning
冯·诺依曼
06-22 1万+
最后，小维根据爸爸的提示，找到了画有斑马的卡片。同样用一个形象的例子解释：爸爸拿了五张分别画有柴犬、柯基、边牧、哈士奇和阿拉斯加的卡片，告诉小维，这些都属于犬类，然后给了小维三张卡片，分别画有橘猫、东北虎和金毛，让小维指出哪张卡片上的动物属于犬类，小维根据已有的五张犬类卡片的特征，指向画有金毛的卡片。GPT-2的不俗表现，证明它是一个极其优秀的预训练语言模型，虽然OpenAI并没有给出GPT-2微调后在各下游任务中的表现，但可以预期的是，其效果一定很好，在监督微调阶段的训练方式与第一代GPT并无差别。
从0开始大模型学习—— GPT2: Zero Shot的崛起
Kenji_Shinji的博客
03-06 887
截断的方案有很多，不同的截断方案训练出来的效果可能有差异，要更好地权衡需要保留的信息，例如本课程里做的是一个summarize的任务，所以采取的方案是保留所有的summary数据，而去截断原文的数据。感觉课程理论部分和代码部分有一点割裂，可以尝试把GPT2的一些新用的技术实现到代码里，使用稍简单点的方式也可以，比如理论讲到的GPT2的两个关键技术，是怎么把prompt的信息融入到训练中的，感觉现在的代码内容没有特别体现出来GPT2的特性，当然也有可能这节课的代码重点是怎么对模型做预训练。
从GPT到chatGPT（二）：GPT2
gzt940726的博客
01-13 5104
在GPT1出来后不久，和GPT很相似的BERT也横空出世，并且几乎在全方位上吊打了GPT1，OpenAI扬长避短，提出了(GPT2)。它强调的通过无监督学习也能达到和finetune一样的效果，并且拥有更强的泛化能能力（个人猜测就是在finetune的情况下打不过BERT，所以主打无监督学习）自然语言处理任务，如问题解答、机器翻译、阅读理解和摘要，通常需要在特定于任务的数据集上进行监督学习。
Transformer两大发展方向——GPT系列及BERT（二）
2301_81940605的博客
10-02 1029
前面讲解了GPT、BERT相关内容，这一篇记录剩下GPT-2、GPT-3、GPT-4。
GPT系列：GPT, GPT-2, GPT-3精简总结 (模型结构+训练范式+实验)
热门推荐
weixin_43646592的博客
02-16 2万+
GPT系列：GPT, GPT-2, GPT-3精简总结 (模型结构+训练范式+实验)
大语言模型的开山之作—探秘GPT系列：GPT-1-GPT2-GPT-3的进化之路
小小帅
02-22 2429
目前NLU（Natural Language Understanding）方向的局限性：有标签的数据相对较少，限制了模型性能的提升。此外，目前预训练语言模型存在一定的局限性1.不能通用：不同损失函数在各个任务上表现差异大，训练数据集并没有包含各个NLP任务。2.不统一：将预训练语言模型迁移到下游任务的方法不统一，不同的子任务，有时还需要调整模型结构。
（简要介绍）开源模型LLaMA3, GPT2-XL 和GPT-J
qq_43391414的博客
06-21 1007
LLaMA3 是 Meta 于 2024 年推出的最新一代开源大语言模型（LLM），是 LLaMA 系列的第三代版本。其目标是通过大规模数据训练和架构优化，在性能、多语言支持和推理能力上实现突破。GPT-2 XL 是 OpenAI 于 2019 年推出的 GPT-2 系列最大版本，是 GPT-3 的前身。其核心目标是验证大模型在生成任务中的潜力。GPT-J 是 EleutherAI 团队开发的开源大语言模型，旨在通过社区协作开发高性能、低成本的替代方案。模型在零样本（zero-shot）任务中的表现。
【深度学习】GPT系列模型：语言理解能力的革新
学习记录，厚积薄发
02-24 3782
大力出奇迹的语言模型！
GPT系列学习笔记：GPT、GPT2、GPT3
xiyou__的博客
08-19 1万+
GPT、GPT2、GPT3的区别和联系。
GPT系列：生成式预训练与零样本学习
weixin_44966641的博客
10-22 7903
GPT系列：生成式预训练与零样本学习
NLP预训练模型系列-GPT-2
Maxi_0902的博客
12-17 6022
GPT-2，语言模型是多任务学习器，在zero-shot setting下，这个巨大的预训练模型取得了惊人的效果，GPT-2具备语言理解能力，且具备一定的生成能力，和GPT不同，GPT-2测试了一些生成任务。
NLP模型应用之三：GPT与GPT-2
谢彦的技术博客
02-12 4092
GPT模型 GPT全称Generative Pre-Training，出自2018年OpenAi发布的论文《Improving Language Understandingby Generative Pre-Training》，论文地址：https://www.cs.ubc.ca/~amuham01/LING530/papers/radford2018improving.pdf。 在自然语言处...
总结GPT1和GPT2
beilizhang的博客
10-26 4606
参考链接： https://blog.csdn.net/hyzhyzhyz12345/article/details/104181606 https://www.jianshu.com/p/a68288613a0f https://blog.csdn.net/u012526436/article/details/87882985 https://www.jianshu.com/p/6c2bfa1848f2 https://zhuanlan.zhihu.com/p/57251615 https://www.
GPT-2 论文翻译
Learning
04-01 1万+
GPT-2 论文翻译 基本是机器翻译，也进行了基本的人工矫正，凑活看吧 原论文：《Language Models are Unsupervised Multitask Learners》 原论文地址：https://d4mucfpksywv.cloudfront.net/better-language-models/language_models_are_unsupervised_multita...
OpenAI GPT2解读
fengzhou_的博客
01-27 1303
背景 随着语言模型从word2vec, ELMo, GPT1再到BERT等模型的发展，目前基本形成了无监督的pretrain到各自任务监督学习的fine-tune（比如机器翻译，文本分类等任务），然而也导致了一个问题，如果缺乏特定任务的监督训练数据就比较难办了。GPT2的研究发现语言模型其实不用显式的fine-tune，本身就具备解决这些能力，具体见论文《Language Models are Unsupervised Multitask Learners》 什么是语言模型？ GPT2 回来最初的问题，到底
Siri接入Gemini、MiniMax超越GPT-5.5、AI PC渗透率超50%：2026年6月AI应用生态正在重塑
A8ai1751295的博客
06-17 202
上一期我们聊了融资与监管的主线，本文将注意力转向应用与生态——2026年6月，AI正在从"技术能力竞赛"切换到"整合体验竞争"的新阶段。苹果WWDC26宣布Siri接入Gemini，迎来15年最大重构；MiniMax开源M3编程能力超GPT-5.5；Meta撤销20亿美元收购Manus交易；华为云AI梦工厂落地医疗；英伟达RTX Spark带动AI PC渗透率首超50%……这些事件共同指向一个结论：AI的下一场战争，不在模型参数里，而在产品体验和产业闭环中。信号含义。
GPT-5.5完整测评：逻辑、数学与复杂工程实战
quitezz的博客
06-20 207
本文对比分析了GPT-4/4o与GPT-5.5在逻辑推理、数学运算和工程代码三大核心维度的性能差异。测试显示，GPT-5.5通过引入强化学习和思维链整合技术，实现了从直觉反应到系统思考的跨越式发展。在逻辑纠错方面，其自我质疑机制使纠错率提升85%；数学证明中能自动验证推理路径；工程代码层面则展现出架构师级别的设计能力，可生成生产级代码并预判并发问题。研究指出，GPT-5.5标志着AI从代码生成器向协同架构师的转型，开发者需相应提升业务拆解和架构设计能力以充分发挥其潜力。
GPT-5.5 多模态原生能力测评：图表解析、手写文稿识别、截图信息还原实测
最新发布
quitezz的博客
06-21 299
随着大模型文本能力趋近天花板，多模态视觉理解成为区分模型落地上限的核心指标。市面多数大模型存在图表解析失真、手写连笔识别错乱、复杂截图信息丢失、图文逻辑对不齐等通病，严重制约办公自动化、数据分析、纸质文档数字化、故障截图研判等场景落地。本文基于纯原生无外挂OCR、无图像预处理标准，全维度实测GPT-5.5三大核心视觉能力：复杂图表智能解析、手写文稿高精度识别、多层混杂截图信息还原。横向对标GPT-4o、Claude 4、Qwen3-VL主流多模态模型，量化识别准确率、逻辑解析正确率、细节还原完整度，客观呈现
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值