国内 huggingfaces 仓下载

国内直接通过 https://huggingface.co 下载速度很慢，甚至无法下载。

• 可以通过 export HF_ENDPOINT=https://hf-mirror.com 切换下载地址解决。

具体下载有多种方法，一种方式通过 snapshot_download 进行。

from huggingface_hub import snapshot_download, login
import syssnapshot_download(repo_id=sys.argv[1],  # google/fleursrepo_type=sys.argv[2], # dataset or modellocal_dir=f"./{sys.argv[1]}",local_dir_use_symlinks=False,resume_download=True,
)# python file.py google/fleurs dataset