【实战】ChatGLM-6B-部署与使用

ChatGLM-6B-部署与使用

ChatGLM-6B 是由清华大学和智谱 AI 开源的一款对话语言模型，基于 General Language Model (GLM)架构，具有 62 亿参数。该模型凭借其强大的语言理解和生成能力、轻量级的参数量以及开源的特性，已经成为在学术界和工业界引起了广泛关注。

本篇将介绍使用 DAMODEL 深度学习平台部署 ChatGLM-6B 模型，然后通过 Web API 的形式使用本地代码调用服务端的模型进行对话。

一、DAMODEL-ChatGLM-6B 服务端部署

DAMODEL（丹摩智算）是添加链接描述专为 AI 打造的智算云，致力于提供丰富的算力资源与基础设施助力 AI 应用的开发、训练、部署。

1.1、实例创建

首先进入 DAMODEL 控制台，点击资源-GPU 云实例，点击创建实例：

进入创建页面后，首先在实例配置中首先选择付费类型为按量付费，其次选择单卡启动，然后选择需求的 GPU 型号，本次实验可以选择选择：按量付费–GPU 数量 1–NVIDIA-GeForc-RTX-4090，该配置为 60GB 内存，24GB 的显存。

继续往下翻，配置数据硬盘的大小，每个实例默认附带了 50GB 的数据硬盘，本次创建可以就选择默认大小 50GB，可以看到，平台提供了一些基础镜像供快速启动，镜像中安装了对应的基础环境和框架，这里选择 PyTorch1.13.1 的框架启动，也可以选择 PyTorch2.1.2 版本启动。

点击创建密钥对，输入自定义的名称，创建好密钥对后，选择刚刚创建好的密钥对，并点击立即创建，等待一段时间后即可启动成功！

1.2、模型准备

启动环境后，打开终端，用 git 克隆ChatGLM-6B项目，若遇到github连接超时，可以选择gitcode站点，或者离线下载并上传到项目中。

cd /home/aistudio/work/
git clone https://github.com/THUDM/ChatGLM-6B.git
# 如果遇见github因为网络问题导致失败，可选择gitcode站点进行下载
# git clone https://gitcode.com/applib/ChatGLM-6B.git

成功克隆项目后，会显示如下文件夹：

其次 cd 进入该文件夹，使用 pip 安装项目依赖：

pip install -r requirements.txt

可以看到 DAMODEL 平台环境依赖的下载安装速度可以达到 18MB/s 以上，非常迅速，等待片刻显示如下 Successfully installed 则说明依赖安装完成！

依赖安装成功后，我们需要引入模型文件，比较方便的是，DAMODEL（丹摩智算）提供了数据上传功能，用户有 20GB 免费存储空间，该空间被挂载到实例的/root/shared-storage目录，跨实例共享。

这里首先点击文件存储，点击上传文件。

然后下载 Hugging Face 上的 ChatGLM-6B 预训练模型，也可以进入魔塔社区选择Chatglm3-6B里的所有文件进行下载。

然后将下载下来的模型文件及配置进行上传并解压，上传时尽量保持该界面首页显示，等待上传成功后再进行其他操作。

1.3、模型启动

上传好预训练模型及解压后，我们就可以去启动 python 脚本运行了，ChatGLM-6B 提供了cli_demo.py和web_demo.pys两个文件来启动模型，第一个是使用命令行进行交互，第二个是使用本机服务器进行网页交互。