部署ChatGLM3-6B大模型并进行对话测试
0 介绍:
本项目是根据datawhale 与 趋动云平台联合 联合的项目,本文主要在于学习和了解使用大模型。
使用的大模型是 ChatGLM3-6B, 这是智谱AI和清华大学KEG实验室联合发布的新一代对话预训
练模型。
整体平台感觉还是非常好用的,方便模型的部署。
项目地址: https://github.com/THUDM/ChatGLM3

1 趋动云项目创建与环境配置
1.1 创建项目:
创建好账号之后,进入自己的空间,点击右上角的创建项目。

给自己项目命名,选择本地代码:

镜像选择pytorch2.0.1,python3.9

选择预训练模型,点击公开,选择不要葱姜蒜上传的这个ChtaGLM3-6B模型。

都选完之后,点击右下角的创建,代码选择暂不上传。待会直接clone代码。
点击运行代码

资源配置选择:B1.large,24G的显存足够加载模型了。其他的不需要设置,然
后点击右下角的开始运行。


本文详细描述了如何在趋动云平台上创建项目,配置环境,包括设置镜像源、安装依赖,以及如何修改代码以部署和运行ChatGLM3-6B大模型的gradio和streamlit界面。
5085

被折叠的 条评论
为什么被折叠?



