当前位置: 首页 > news >正文

建站之星管理中心注册海外公司

建站之星管理中心,注册海外公司,沈阳网站建设开发设计公司,wordpress 站点语言概览 从 Hugging Face 下载模型主要有五种常用方式:使用 Transformers 的 from_pretrained 接口、Hugging Face 提供的命令行工具(CLI)、huggingface_hub 库中的 hf_hub_download 函数、snapshot_download 方法、以及通过 Git LFS 克隆模型仓…

概览

从 Hugging Face 下载模型主要有五种常用方式:使用 Transformers 的 from_pretrained 接口、Hugging Face 提供的命令行工具(CLI)、huggingface_hub 库中的 hf_hub_download 函数、snapshot_download 方法、以及通过 Git LFS 克隆模型仓库。每种方法各有优势,可根据网络环境、自动化需求和私有仓库权限灵活选择。


方法一:Transformers Python API

通过 Transformers 库的高层接口,可以一行代码从模型仓库下载并加载模型:

from transformers import AutoModel, AutoTokenizer  
model = AutoModel.from_pretrained("bert-base-uncased")  
tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased")

首次运行时,所需权重文件会被下载并缓存到本地,再次加载时即从缓存读取,无需重复下载。

对于需要离线加载的场景,可设置 local_files_only=True,让 from_pretrained 仅从本地缓存加载:

model = AutoModel.from_pretrained("bert-base-uncased", local_files_only=True)

这样可以在无网络环境下使用已下载模型。


方法二:命令行工具(CLI)

Hugging Face 官方提供 huggingface-cli,可直接在终端下载模型文件:

pip install huggingface_hub 
huggingface-cli download HuggingFaceH4/zephyr-7b-beta

该命令会将指定模型仓库的所有文件下载到本地缓存目录,适合快速批量下载或脚本化操作。

登录并授权后,CLI 也能访问私有仓库:

huggingface-cli login huggingface-cli download <private-repo-id>

授权令牌会自动保存在本地,后续下载无需重复登录。


方法三:hf_hub_download 函数

使用 huggingface_hub 库时,可精确下载指定文件而非整个仓库:

from huggingface_hub import hf_hub_download 
local_path = hf_hub_download(repo_id="lysandre/arxiv-nlp", filename="config.json") 
print(local_path) # /root/.cache/huggingface/hub/models--lysandre--arxiv-nlp/.../config.json

函数会将文件缓存在本地,并返回缓存路径,有助于在自定义脚本中灵活获取模型组件。


方法四:snapshot_download 整仓下载

当需要离线或墙内环境完整获取模型时,可使用 snapshot_download

from huggingface_hub import snapshot_download 
snapshot_download(repo_id="meta-llama/Llama-2-7b-hf", repo_type="model")

该方法会下载整个仓库快照,包括所有版本的文件,并存储于本地缓存目录,支持指定分支或提交哈希。


方法五:Git LFS 克隆

模型仓库本质上是 Git 仓库,可通过 Git LFS 完整克隆:

git lfs install git clone https://huggingface.co/bigscience/bloom

若对私有模型有写权限,可使用 SSH:

git clone git@hf.co:<MODEL_ID>

克隆后,仓库中包含 config.json、权重文件(.bin.safetensors)等,可直接在本地加载。


本地缓存与管理

所有下载的模型文件默认缓存在 ~/.cache/huggingface/ 目录下,包含版本管理和权限控制信息,不建议手动修改缓存文件以免损坏。

若需清理缓存,可删除对应子目录或使用官方工具:

huggingface-cli cache delete

管理缓存有助于节省磁盘空间并重置下载状态。


小结

  • 快速体验:使用 from_pretrainedpipeline 即可一行加载模型。

  • 批量/自动化:推荐 huggingface-cli downloadsnapshot_download

  • 精细控制:采用 hf_hub_download 按需获取文件。

  • 克隆镜像:通过 Git LFS 完整克隆,适合二次开发和私有化部署。

根据自身需求和网络环境灵活选择,均可在 Hugging Face Hub 上安全、高效地获取所需模型。

http://www.dtcms.com/a/613552.html

相关文章:

  • 【HarmonyOS】ArkWeb——从入门到入土
  • 微网站 微信网站优化服务是什么意思
  • VS Code 隐藏顶部标题栏中间的文字
  • 珠海网站哪家好如何给网站流量来源做标记通过在网址后边加问号?
  • Rust入门
  • Rust入门 之一
  • “伪”局域网
  • C语言编译软件Mac | 在Mac上选择最合适的C语言编译工具
  • 怎么样建设一个网上教学网站网页版微信二维码不能直接识别
  • Linux BPF 技术深度解析:从原理到实践
  • 高端网站报价wordpress如何添加背景音乐
  • C# 对多个任务进行符合管理
  • 在Eclipse IDE for Embedded C/C++ Developers软件中定义的宏,编译C源文件时编译器无法找到宏定义!
  • 从局域网到全网可用!PDFMathTranslate 翻译工具的进阶使用法
  • 深入理解 JavaScript 异步编程:从单线程到 Promise 的完整指南
  • 怎么自己做歌曲网站沈阳网站建设方案策划
  • 电脑卡顿因重复文件?AllDup无安装版快速查重+批量删除 文件管理混乱?AllDup多模式查重工具,Python开发者也能高效用
  • Dubbo Mock机制详解:服务降级与本地测试的利器
  • JDBC与事务的协同:ThreadLocal的巧妙运用
  • 底层视觉及图像增强-项目实践理论补充(十六-0-(13):HDR技术全链路解析:从原理到LED显示工程实践):从奥运大屏,到手机小屏,快来挖一挖里面都有什么
  • 深圳服务平台网站网站提示域名解析错误怎么办
  • 论文阅读13——基于大语言模型和视觉模态融合的可解释端到端自动驾驶框架:DriveLLM-V的设计与应用
  • 考研408--数据结构--day2--顺序表及其增删改查
  • 软件演示环境动态扩展与成本优化:基于目标跟踪与计划扩展的AWS Auto Scaling策略
  • 网站设计的资质叫什么花蝴蝶韩国免费视频
  • AI Agent 之工具使用:从函数定义到实际应用
  • 【C++】 map/multimap底层原理与逻辑详解
  • 如何利用国外网站开发客户wordpress的免费模板
  • C++、Java 还是测试开发?
  • Java 开发 - 粘包处理器 - 基于消息头 + 消息体(魔数验证、长度验证)