admin管理员组文章数量:1579970
前言
在使用Huggingface的过程中,有时我们可能会遇到无法访问官方网站huggingface.co的情况,这可能是由于网络监管或者网络连接问题所致。然而,幸运的是,我们可以通过hf-mirror这个Huggingface镜像站来解决这个问题。本篇博客将详细介绍hf-mirror网站的内容和使用方法。
hf-mirror是什么?
hf-mirror是Huggingface的镜像网站,它提供了一个备用的域名来访问Huggingface的资源和功能。它的作用类似于一个代理服务器,可以帮助我们绕过无法访问huggingface.co的限制,正常地获取所需的模型和数据集。
hf-mirror的特点和优势
- 支持断点续传:使用hf-mirror下载模型时,如果网络中断,我们可以通过断点续传功能避免文件损坏,从而节省时间和流量。
- 多文件并行下载:hf-mirror默认支持多文件并行下载,这意味着我们可以更快地下载所需的模型和数据集。
- 支持Gated Model下载:对于需要登录的模型(Gated Model),我们可以通过添加–token hf_***参数来进行下载,其中hf_***是访问令牌,可以在huggingface官网获取。
使用hf-mirror下载模型的步骤
- 安装依赖:首先,我们需要安装
huggingface-cli
命令行工具,可以使用以下命令进行安装:pip install -U huggingface_hub
。 - 设置镜像endpoint:在下载模型之前,我们需要设置镜像endpoint,可以使用以下命令进行设置:
export HF_ENDPOINT=https://hf-mirror
。 - 下载模型:使用huggingface-cli的download命令可以下载模型,例如:
huggingface-cli download --resume-download --local-dir-use-symlinks False bigscience/bloom-560m --local-dir bloom-560m
。
其他使用方式
- 下载需要登录的模型以及使用脚本下载等方法详见参考链接[2]。
- 根目录
.cache
空间不足时使用--cache-dir
传参更改下载缓存路径,例如:
huggingface-cli download --resume-download --local-dir-use-symlinks False stabilityai/stable-diffusion-xl-base-1.0 --local-dir stabilityai --cache-dir stabilityai.cache
- 使用Python脚本下载时,在
import huggingface
库相关语句之前执行环境设置。
import os
os.environ['HF_ENDPOINT'] = 'https://hf-mirror'
from huggingface_hub import hf_hub_download
- 更多功能支持可查阅
huggingface-cli download --help
总结
hf-mirror是Huggingface的镜像网站,为用户提供了一个备用的访问通道,解决了无法访问huggingface.co的问题。通过hf-mirror,我们可以正常地下载所需的模型和数据集,享受Huggingface提供的强大功能。
版权说明
本文为原创文章,部分内容基于GPT工具撰写,独家发布在blog.csdn/TracelessLe。未经个人允许不得转载。如需帮助请email至tracelessle@163或扫描个人介绍栏二维码咨询。
参考资料
[1] 如何看待huggingface.co已无法访问? - 知乎
[2] hf-mirror - Huggingface 镜像站
[3] 第十五篇-推荐-Huggingface-镜像-2023-10_huggingface镜像-CSDN博客
[4] huggingface stabilityai/stable-diffusion-xl-base-1.0
[5] 如何快速下载huggingface大模型
本文标签: 镜像资源Huggingfacemirrorhf
版权声明:本文标题:使用Huggingface镜像站hf-mirror.com下载资源 内容由热心网友自发贡献,该文观点仅代表作者本人, 转载请联系作者并注明出处:https://www.elefans.com/dianzi/1727148307a1099386.html, 本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容,一经查实,本站将立刻删除。
发表评论