Llama3 mac本地部署教程

本文介绍了如何在Mac上下载并安装Ollama和Node.js,详细步骤包括下载、默认与中文模型的安装,以及部署WebUI和选择本地模型的过程。作者提到在运行中文模型时,性能可能较弱。
Step3-VL-10B-Base阶跃星辰轻量级多模态基础模型

Step3-VL-10B-Base阶跃星辰轻量级多模态基础模型

Llama
文本生成
图像识别

视觉理解:图像识别、OCR、实体定位、计数、空间理解、GUI 交互 多模态推理:看图问答、图文理解、复杂逻辑推理(STEM、数学、代码)

1.下载的软件清单:

ollama下载:

Download Ollama on macOS

nodejs下载:

Node.js — Download Node.js®

2.安装

安装Ollama

 下载之后打开,直接点击Next以及Install安装ollama到命令行。安装完成后界面上会提示ollama run llama2,不需要执行这条命令,因为我们要安装llama3 的中文模型:

#这是默认的模型:
ollama run llama3
#这是中文模型:
ollama run ollam/unichat-llama3-chinese-8b

等待下载完成,这时候可以去安装web页面;

安装WebUI

git clone https://github.com/ollama-webui/ollama-webui-lite.git
cd ollama-webui-lite
npm install
npm run dev

之后访问 localhost:3000

选择我们下载好的模型 即可实现本地化部署;

选择你的本地模型:

效果展示:

我的电脑跑这个模型还是很吃力的。。。时间很久

如果想下载别的模型可以在这里进行搜索

您可能感兴趣的与本文相关的镜像

Step3-VL-10B-Base阶跃星辰轻量级多模态基础模型

Step3-VL-10B-Base阶跃星辰轻量级多模态基础模型

Llama
文本生成
图像识别

视觉理解:图像识别、OCR、实体定位、计数、空间理解、GUI 交互 多模态推理:看图问答、图文理解、复杂逻辑推理(STEM、数学、代码)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值