hugging face下载模型

huggingface-cli

huggingface-cli 是 Hugging Face 官方提供的命令行工具，自带完善的下载功能。

1. 安装依赖（可用conda配置python环境）

pip install -U huggingface_hub

2. 设置环境变量

export HF_ENDPOINT=https://hf-mirror.com

建议将上面这一行写入 ~/.bashrc

3.1 下载模型

huggingface-cli download --resume-download gpt2 --local-dir gpt2

3.2 下载数据集

huggingface-cli download --repo-type dataset --resume-download wikitext --local-dir wikitext

有些项目需要登录

需先前往 Hugging Face 官网登录、申请许可，在官网这里获取 Access Token 后回镜像站用命令行下载。
部分工具下载 Gated Repo 的方法：

huggingface-cli： 添加--token参数

huggingface-cli download --token hf_*** --resume-download meta-llama/Llama-2-7b-hf --local-dir Llama-2-7b-hf

例子：

huggingface-cli download ai21labs/AI21-Jamba-1.5-Mini --token hf_* --local-dir ./