当前位置: 首页 > news >正文

【大语言模型,数据向量化】向量化时使用本地HuggingFaceEmbeddings失败,调用embeddings时仍会去Huggingface下载的解决方法

别人的方法都是错的

我用下面代码加载模型,后面发现必须联外网才能使用,无效

 embeddings = HuggingFaceEmbeddings(
    model_name='bge15',
    model_kwargs={'device': 'cuda:0'},
    encode_kwargs={'normalize_embeddings': True},
    local_files_only=False  # 关键修复参数[6](@ref)
)

后面加上了

# 设置离线环境变量
os.environ['TRANSFORMERS_OFFLINE'] = '1'
os.environ['HF_DATASETS_OFFLINE'] = '1'

也是无效的

最后使用下面代码完成本地缓存文件的调用,成功的

embeddings = HuggingFaceEmbeddings(
    model_name="BAAI/bge-small-zh-v1.5",
    model_kwargs={
        "local_files_only": True,  # 嵌套参数传递[2](@ref)
        "device": "cuda:0"  # 可选设备
    },
    encode_kwargs={"normalize_embeddings": True}
)

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.dtcms.com/a/41969.html

相关文章:

  • 拉链表介绍
  • PySide(PyQT)重新定义contextMenuEvent()实现鼠标右键弹出菜单
  • SpringSecurity基于JWT实现Token的处理
  • 老旧android项目编译指南(持续更)
  • 【Java项目】基于Spring Boot的闲一品交易系统
  • Pytorch实现之使用生成对抗神经网络平衡数据
  • 树莓百度百科更新!宜宾园区业务再添新篇
  • HarmonyOS 项目集成腾讯云即时通信 IM SDK
  • 2025年02月27日Github流行趋势
  • JavaWeb基础专项复习7——JSON
  • Spring Boot操作MaxComputer(保姆级教程)
  • 一文掌握模拟登录的基本原理和实战
  • mySQL复习
  • 系统架构设计师考点——嵌入式技术
  • c# winfrom增加进度条
  • Redis Stream基本使用及应用场景
  • 事件【Qt】
  • 一种简单的ReAct agent演示
  • nginx 动态计算拦截非法访问ip
  • [密码学实战]Java实现SM4加解密(ecb,cbc)及工具验证
  • Java 抽象类与接口:深入理解与应用
  • 利用shardingsphere-proxy对mysql分片
  • 3-3 WPS JS宏 遍历文件名获取函数(遍历指定文件夹下的所有工作)学习笔记
  • 计算机主板南桥与北桥核心架构概论
  • Spring也能接入Deepseek?
  • ddt 库注解总结
  • Docker迁移/var/lib/docker之后镜像容器丢失问题
  • Go 语言内存池 (`sync.Pool`) 深度解析
  • 【Java项目】基于Spring Boot的网上商城购物系统
  • 一个原教旨的多路径 TCP