当前位置: 首页 > news >正文

【大语言模型,数据向量化】向量化时使用本地HuggingFaceEmbeddings失败,调用embeddings时仍会去Huggingface下载的解决方法

别人的方法都是错的

我用下面代码加载模型,后面发现必须联外网才能使用,无效

 embeddings = HuggingFaceEmbeddings(
    model_name='bge15',
    model_kwargs={'device': 'cuda:0'},
    encode_kwargs={'normalize_embeddings': True},
    local_files_only=False  # 关键修复参数[6](@ref)
)

后面加上了

# 设置离线环境变量
os.environ['TRANSFORMERS_OFFLINE'] = '1'
os.environ['HF_DATASETS_OFFLINE'] = '1'

也是无效的

最后使用下面代码完成本地缓存文件的调用,成功的

embeddings = HuggingFaceEmbeddings(
    model_name="BAAI/bge-small-zh-v1.5",
    model_kwargs={
        "local_files_only": True,  # 嵌套参数传递[2](@ref)
        "device": "cuda:0"  # 可选设备
    },
    encode_kwargs={"normalize_embeddings": True}
)

相关文章:

  • 拉链表介绍
  • PySide(PyQT)重新定义contextMenuEvent()实现鼠标右键弹出菜单
  • SpringSecurity基于JWT实现Token的处理
  • 老旧android项目编译指南(持续更)
  • 【Java项目】基于Spring Boot的闲一品交易系统
  • Pytorch实现之使用生成对抗神经网络平衡数据
  • 树莓百度百科更新!宜宾园区业务再添新篇
  • HarmonyOS 项目集成腾讯云即时通信 IM SDK
  • 2025年02月27日Github流行趋势
  • JavaWeb基础专项复习7——JSON
  • Spring Boot操作MaxComputer(保姆级教程)
  • 一文掌握模拟登录的基本原理和实战
  • mySQL复习
  • 系统架构设计师考点——嵌入式技术
  • c# winfrom增加进度条
  • Redis Stream基本使用及应用场景
  • 事件【Qt】
  • 一种简单的ReAct agent演示
  • nginx 动态计算拦截非法访问ip
  • [密码学实战]Java实现SM4加解密(ecb,cbc)及工具验证
  • 如何注册网站主办者/百度账号登录入口网页版
  • 响应式网站建设的未来发展6/常州网站推广
  • 上海做原创网站/怎样才能被百度秒收录
  • 网站后台模板关联自己做的网站/营销型网站的特点
  • 网站建设推广优化有哪些基本方法/百度推广咨询
  • 哪个网站可以做视频片头/互动营销案例100