做网站工作国内新闻

问题

服务器的硬盘空间是有限的，系统上的固态硬盘空间又比较小，在跑深度学习模型的时候经常有默认下载权重的操作，不管是torch或者huggingface，如果不加管理，所有的权重都放在home/user/.cache 里面，迟早会爆，在大模型盛行的今天，huggingface每一次的权重都是几个g的大小，系统盘根本撑不住，所以肯定需要修改默认下载位置。

解决方案1-系统环境直接修改变量

1、打开环境

nano ~/.bashrc

2、添加HF\TORCH\XDG默认路径

# 设置 Hugging Face 全家桶缓存路径
export HF_HOME="/data1/user/cache/huggingface"
# pytorch 通用缓存
export TORCH_HOME="/data1/user/cache/torch"
# SDG 规范缓存目录 (影响更广)
export XDG_CACHE_HOME="/data1/user/cache/xdg_cache"

其中/data1/user/cache是我想要存的机械硬盘的位置
3、重新激活环境

source ~/.bashrc

解决方案2 -代码中添加路径

import os
# 手动设置环境变量，将这里替换为您实际想要设置的路径
os.environ['TORCH_HOME'] = '/data1/yerq/cache/torch'