MAC本地部署Llama经验分享

一、本人部署环境

网络：VPN

电脑：MacBook Air

模型：meta-llama/Llama-3.1-8B（建议安装1B或者3B，8B太大了，安装所需空间 15GB +）

• Llama 3.2-1B:估计大小：安装所需空间 3GB+

• Llama 3.2-3B:估计大小：安装所需空间 7GB +

二、详细步骤

步骤1：安装Python和Pip

检查是否安装Python和Pip，如果没，使用以下步骤来安装：

（1）打开终端，检查是否已经安装了Python：
python3 --version
如果已经安装了会展示版本号，如果没有安装Python，请通过Homebrew安装：
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"

brew install python3

（2）检查Pip是否已经安装：
pip3 --version

如果已经安装了会展示版本号，如果没有安装可以使用下面的命令安装：
sudo easy_install pip3

步骤2：创建虚拟环境（可选但推荐）

为了保持系统环境干净，推荐使用Python虚拟环境来安装所需的依赖：

python3 -m venv llama_env

source llama_env/bin/activate

步骤3：安装PyTorch