郴州建设信息网站网站收录平台

环境信息

机器01
操作系统：Debain 12.9/Ubuntu 24.04
CPU：i7-10750H
内存：32G
显卡：GTX 1650（4G）
硬盘：SSD（1T）
IP：192.168.3.17

机器02
操作系统：Debain 12.9/Ubuntu 24.04
CPU：i5-10200H
内存：16G
显卡：GTX 1650（4G）
硬盘：SSD（512G）
IP：192.168.3.18

基础组件安装

基础组件安装

创建python虚拟环境

# 创建虚拟环境
python3 -m venv unsloth
# 进入虚拟环境
source ~/unsloth/bin/activate

安装python模块

# 使用清华大学python源，https://pypi.tuna.tsinghua.edu.cn/simple
pip install --upgrade pip -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install xarray cmake numpy regex spacy pyarrow geemap modelscope unsloth unsloth_zoo huggingface-hub safetensors sentence-transformers tensorflow torch torchaudio torchvision torchtext xgboost transformers diffusers langchain setuptools opencv-python bitsandbytes accelerate xformers peft trl triton cut_cross_entropy protobuf datasets hf_transfer tf-keras uniform deepspeed -i https://pypi.tuna.tsinghua.edu.cn/simple
git clone https://gitee.com/xqxyxchy/llama.cpp.git
cd llama.cpp && mkdir build && cd build && cmake .. -DLLAMA_BUILD_TOOLS=ON -DLLAMA_OPENBLAS=ON && cmake --build . --config Release && cp -rf bin/* ../ && cd ../../

欢迎享用微调环境