github代码库链接
Langchain-Chatchat
https://github.com/chatchat-space/Langchain-Chatchat
inference
https://github.com/xorbitsai/inference
本文将会用到两个代码库
第一个代码库是启动chatchat使用。
第二个代码库是加载推理模型使用。
安装Xinference
首先新建虚拟环境, 然后通过pip安装
pip install "xinference[all]"
启动方式
xinference-local --host 0.0.0.0 --port 8887
通过浏览器打开会看到这样一个界面

launch model 会自动下载模型文件,默认是从hugging face下载,如果网络不通可以更改到ModelScope。也可以添加本地模型
添加注册模型
-
点击resgister model
-
填写model name 自己随便起一个名字就好了
-
模型介绍 可写可不写
-
按照截图勾选即可
-
选择你下载到本地的大模型基座

869

被折叠的 条评论
为什么被折叠?



