当前位置: 首页 > news >正文

huggingface下载模型到本地缓存环境变量配置详解

1.安装huggingface-cli 命令行工具,进行模型文件下载

      pip install -U huggingface_hub

     huggingface-cli --help 帮助命令

2.从huggingface下载模型方法


      方法1: git clone 下载模型

     方法2:huggingface-cli  工具下载模型
    
     方法3: 代码中调用api自动下载到缓存的本地目录

     方法4:使用ollam 下载huggingface 模型(备注:模型必须是GGUF格式):
               ollama run hf.co/{username}/{repository}
              eg: ollama run hf.co/Talek02/bert-base-uncased-Q4_K_M-GGUF

    以上方法都需要首先安装针对大文件存储(lfs)下载传输的依赖库:
     pip install hf_transfer

     安装 lfs
      git lfs install

3.配置缓存环境变量

从huggingface下载预训练模型,本地缓存设置:

                               windows系统,默认预训练模型会被下载并缓存在本地到C:\Users\用户名 \.cache\huggingface\hub目录下,这是由环境变量TRANSFORMERS_CACHE指定的默认目录。

可以按照不同优先级改变下面的环境变量,以便指定不同的缓存目录:

  1. 环境变量(默认):HUGGINGFACE_HUB_CACHE或TRANSFORMERS_CACHE

  2. 环境变量 :HF_HOME

  3. 环境变量:XDG_CACHE_HOME + /huggingface

设置自己的HF_HOME,指定自己的本地下载模型仓库地址,环境变量:

设置下载lfs(大文件存储)环境变量,这个很重要,不然会出现下载大文件Read timeout,trying to resume download异常。必须指定hf_transfer,当使用huggingface_hub的时候
HF_HUB_ENABLE_HF_TRANSFER=1

总共需要设置这些环境变量,当然还可以设置token,可以根据需要设置

 

4.从huggingface下载大模型,(无论是使用huggingface-cli命令行还是调用api):

从huggingface下载大模型

从huggingface下载数据集

相关文章:

  • 《每天读一个JDK源码》之HashMap解读
  • Python线程池知多少
  • 【Qt】ffmpeg照片提取、视频播放▲
  • 【Java 基础(人话版)】Java SE vs Java EE
  • 请解释 Node.js 中的网络模块(http、https),如何创建 HTTP服务器?
  • ESP32+Mixly+温湿度传感器DHT11
  • LangChain项目实战1——基于公司制度RAG回答机器人
  • PHP的学习
  • 如何通过 LlamaIndex 将数据导入 Elasticsearch
  • DAY09 Map接口、斗地主案例(有序版本)、冒泡排序
  • Mysql100道高频面试题
  • DeepSeek开源周-汇总
  • CSS浮动详解
  • 稀疏数组学习
  • Vue3项目如何使用TailWind CSS保姆级教程
  • 使用Python开发以太坊智能合约:轻松入门与深度探索
  • Linux与UDP应用1:翻译软件
  • C++Primer学习(4.8位运算符)
  • Qt中如果槽函数运行时间久,避免阻塞主线程的做法
  • 250301-OpenWebUI配置DeepSeek-火山方舟+硅基流动+联网搜索+推理显示
  • php网站建设网站/媒体营销平台
  • 东莞集团网站建设/b2b网站平台
  • 网站建设 技术要求/爱站网关键词工具
  • 做网站还需要搜狗吗/微信营销系统
  • 食品网站建设策划书/seo岗位工作内容
  • 美食林商业供应链管理系统登录/电脑清理优化大师