当前位置：首页 > news >正文

如何利用国内镜像从huggingface上下载项目

news 来源：原创 2025/5/15 10:48:48

1、利用镜像快速下载项目

在huggingface上下载模型时速度太慢，可以用下面的方法

pip install -U huggingface_hub
pip install huggingface-cli

export HF_ENDPOINT=https://hf-mirror.com

huggingface-cli download --resume-download shenzhi-wang/Llama3-8B-Chinese-Chat --local-dir /root/autodl-tmp/models/Llama3-8B-Chinese-Chat1

--resume-download：即使某次下载中断，下次还能从上次下载的位置开始
--local-dir：将文件下载到特定本地目录的示例

2、利用git lfs在hugging上下载项目，大文件下载过程可视化

下载模型（本部分讲解如何使用git lfs设置显示进度）

1）先设置环境变量：GIT_LFS_SKIP_SMUDGE

在终端输入以下命令，将环境变量GIT_LFS_SKIP_SMUDGE设置为1：
这条命令允许在克隆时，跳过下载lfs文件。

export GIT_LFS_SKIP_SMUDGE=1

见下图

2）使用git lfs pull，实时看到进度条

此时再克隆仓库时就会跳过lfs文件，快速的完成clone步骤，在克隆项目前需要配置git lfs

git lfs install
git clone 网址
git lfs pull

在这里插入图片描述
参考：Git LFS 实时显示进度条：让大文件克隆与推送体验更美好

git lfs install 介绍：
当你首次在一个 Git 仓库中启用 Git LFS 时，需要运行 git lfs install 来配置 Git LFS。之后，你就可以使用
git lfs track 来指定哪些文件类型需要通过 Git LFS 来管理，并在提交时自动处理大文件
常见场景：
首次安装 Git LFS 时：当你第一次在机器上安装 Git LFS 时，需要运行 git lfs install 来初始化配置。这是确保 Git LFS 正常工作的必要步骤。
克隆一个 Git LFS 仓库后：如果你刚刚克隆了一个包含 LFS 文件的仓库，在开始操作之前，运行 git lfs install 可以确保钩子和配置是正确的。
配置 Git LFS 时：在使用 Git LFS 之前，你必须首先运行 git lfs install 来确保 LFS 的各项配置已经准备好。

2.2.2 Embedding 模型的下载

下载方法类似于下载Qwen
在这里插入图片描述
这里需要注意的是：
我是想并行下载Embedding模型，所以又开了一个窗口，忽视了要再进行一次环境变量的设置，导致第一次是拉取失败（即在克隆项目时也在克隆lfs文件），重新设置环境变量就可以克隆项目与下载文件分离开

为什么每次都需要设置环境变量：
通常你只需要设置一次环境变量，它的作用会持续在当前的 shell会话中。但如果你每次打开一个新的终端窗口或者重新启动计算机，环境变量会丢失。因此，如果每次都需要手动设置它，可能是因为：
1）环境变量没有永久化： 环境变量 GIT_LFS_SKIP_SMUDGE=1 只在当前 shell会话中生效。如果每次都要重新设置，说明这个变量没有被持久化到系统配置中。
2）Shell 配置文件未修改： 如果你希望每次打开新的终端窗口时自动设置该环境变量，你需要将 export GIT_LFS_SKIP_SMUDGE=1 添加到你的 shell 配置文件（如 .bashrc、.bash_profile、.zshrc 等）中。

如何持久化环境变量：
为了避免每次手动设置，你可以将这行命令添加到你的 shell 配置文件中：
1、打开你的 shell 配置文件，例如：
1）对于 Bash：~/.bashrc 或 ~/.bash_profile
2）对于 Zsh：~/.zshrc
添加以下行： export GIT_LFS_SKIP_SMUDGE=1
3）保存文件并重载配置文件：
source ~/.bashrc # 对于 Bash
source ~/.zshrc # 对于 Zsh
这样，每次打开终端时，GIT_LFS_SKIP_SMUDGE=1 就会自动设置，而不需要手动配置。