基础学习：（6）nanoGPT

前言

看到一个很火的学习开源项目 nano gpt，换换思维，学习下nano gpt
这是我个人仓库,里面很多内容已经build 好,如果有不对的也欢迎大家指正.
我个人非常喜欢<斗破苍穹>, 因此用了土豆老师的斗破苍穹的小说作为训练样本(非商业用途),如有不敬书迷给你磕一个.

1 nanoGPT 浅尝

1.1 基础环境

(1) 仓库地址:https://github.com/MexWayne/mexwayne_nanoGPT
(2) 仓库环境: 见 transformer_env.txt
(3) 训练: python train.py config/train_doupocangqiong_char.py
(4) 推理: python sample.py --init_from=resume --start=“介绍小医仙” --num_samples=5 --max_new_tokens=200
(5) onnx 模型: 用 pt2onnx.py 生成

1.2 prepare.py

prepare.py 是为了将小说数据拆为训练数据和验证数据
(1) 将小说放到input.txt 中.

(2) 运行: python data/doupocangqiong_char/prepare.py
prepare过程会将文字进行编码

这里用了set 将重复的char 去掉, 得到字符集合
真正的小说肯定没有乱字符,我这里因为是我网上爬的,所以先将就.这个字典信息会保留到 meta.pkl(pickle) 中.

(3) 将小说的0%-90% 将小说的90%-100%部分作为验证数据

接着将小说的中欧给你的字符串根据set 进行编码.
于是有

(3) encode 和 decode 函数
比较简陋

将训练集和测试集用encode转为网络认识的bin文件

最终将其保存在 meta.pkl 中

1.2 train.py

(1) 这里有个默认的训练设置,scractch 是 从头, resume 是 继续上一次训练, gpt2 是基于gpt2

(2) wandb 很常见就是做可视化的,我这里用的默认

(3) nanogpt 这里很细节, 我们batch大小越大越好,我的实践经验是这样loss 下降的比较快,且训练的结果要强于batch 小的情况,但是我的 4070ti 就12g 显存, 一次读不下太大的batch 所以只能算一点一点算,然后积累到一个 batch 后,更新一次optimizer,这样看起来就像是用个大batch.

配置1个gradient_accumulation_steps 为40, batch size 为 12. block_size = 1024
相当于gradient_accumulation_steps * batch_size * block_size 大小的数据(也就是40 * 12 = 480 个样本)才更新一次

(4) 这里到了 配置 gpt 的模型

但是我这里将生成的模型保存后转为onnx 发现只有6层

通过如下方式进行打印,也是只有6层,少了一半

看了下代码,发现这里会重写

修改后键入: python train.py config/train_doupocangqiong_char.py

改了后就对了