huggingface 下载大模型

模型"/>

huggingface 下载大模型

域名：hf-mirror - Huggingface 镜像站

方法一：使用huggingface 官方提供的 huggingface-cli 命令行工具。

(1) 安装依赖

pip install -U huggingface_hub hf_transfer

(2) 基本命令示例：

export HF_ENDPOINT=

huggingface-cli download --resume-download bigscience/bloom-560m --local-dir bloom-560m --local-dir-use-symlinks False

如需提高下载速度，推荐设置环境变量开启hf_tranfer，官方的下载加速库，缺点是没有进度条、容错性低（网络不稳定则容易报错）。

export HF_HUB_ENABLE_HF_TRANSFER=1

(3) 下载需要登录的模型（Gated Model）
请添加--token hf_***参数，其中hf_***是 access token，请在huggingface官网这里获取。示例：

huggingface-cli download --token hf_*** --resume-download meta-llama/Llama-2-7b-hf --local-dir Llama-2-7b-hf

但目前还是有一些缺点的：

一是其存储逻辑不太直观，其默认会把模型下载到 ~/.cache/huggingface/hub/ 中，即使设置了 --local-dir，也会采用符号链接的形式进行链接，其目的在于防止重复下载。然而我们有时候只想简单的下载到特定目录，其中有一项 --local-dir-use-symlinks，设置为 False 可以部分解决该问题，虽然仍会临时下载到 ~/.cache/huggingface/hub/，但下载完成后会移动到 --local-dir 指定的目录。

参考：如何快速下载huggingface大模型 – padeoe的小站