邵阳市建设网站安徽seo
- 操作系统: Ubuntu 22.04.4 LTS
环境配置
1. 系统依赖
更新系统
sudo apt update && sudo apt upgrade -y
安装基础工具
sudo apt install -y build-essential git wget curl python3-pip python3-venv
2. NVIDIA 驱动和 CUDA
2.1 安装 NVIDIA 驱动
# 查看推荐驱动版本
ubuntu-drivers devices# 自动安装推荐驱动（或手动指定版本）
sudo ubuntu-drivers autoinstall# 安装指定版本驱动（如 550 版本）
sudo apt install nvidia-driver-550#本次选用# 重启后验证
nvidia-smi
2.2 安装 CUDA 11.8+ 和 cuDNN
CUDA官方安装
以 CUDA 12.1 为例：
# 下载 CUDA 12.1 安装包
wget https://developer.download.nvidia.com/compute/cuda/12.1.0/local_installers/cuda_12.1.0_530.30.02_linux.run# 安装 CUDA（按提示操作）
sudo sh cuda_12.1.0_530.30.02_linux.run
配置环境变量
生效的配置方式：
# 编辑环境变量配置文件
sudo nano /etc/profile.d/cuda.sh# 添加以下内容：
export PATH=/usr/local/cuda-12.1/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda-12.1/lib64:$LD_LIBRARY_PATH# 使配置生效
source /etc/profile.d/cuda.sh# 更新动态库链接
sudo ldconfig# 验证 CUDA
nvcc --version
3. 安装 Conda 环境
3.1 下载并安装 Miniconda
# 下载 Miniconda 安装脚本（Python 3.10）
wget https://repo.anaconda.com/miniconda/Miniconda3-py310_23.11.0-2-Linux-x86_64.sh# 运行安装脚本，按提示操作（安装路径建议默认）
bash Miniconda3-py310_23.11.0-2-Linux-x86_64.sh# 激活 conda 环境
source ~/.bashrc
3.2 创建专用环境
conda create -n deepseek-ollama python=3.12 -y
conda activate deepseek-ollama
4. 安装 Ollama
4.1 通过官方脚本安装 Ollama
自动安装（失败时使用手动方式）
curl -fsSL https://ollama.com/install.sh | sh
手动分步安装
-
下载安装脚本：
curl -O https://ollama.com/install.sh chmod +x install.sh -
手动下载 Ollama Linux bundle：
wget https://ollama.com/download/ollama-linux-amd64.gz或从 Ollama GitHub Releases 获取最新安装包。
-
验证文件完整性（可选）：
sha256sum ollama-linux-amd64.tar.gz -
解压文件并将可执行文件移动到系统路径：
sudo tar -C /usr -xzf ollama-linux-amd64.tgz -
创建 Ollama 用户和组：
sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama sudo usermod -a -G ollama $(whoami) -
手动创建服务文件：
sudo nano /etc/systemd/system/ollama.service内容如下：
[Unit] Description=Ollama Service After=network.target[Service] ExecStart=/usr/local/bin/ollama/bin/ollama serve User=root Group=root Restart=always RestartSec=3 Environment="CUDA_VISIBLE_DEVICES=0,1"#支持多GPU运行 Environment="OLLAMA_SCHED_SPREAD=true" Environment="OLLAMA_HOST=0.0.0.0:11434"[Install] WantedBy=multi-user.target
4.2 验证 Ollama 安装
# 重新加载 systemd 配置
sudo systemctl daemon-reload# 启用并启动 Ollama 服务
sudo systemctl enable ollama
sudo systemctl start ollama# 查看服务状态
sudo systemctl status ollama# 日志检查
journalctl -u ollama# 测试基础命令
ollama --version# 下载并运行模型（示例）
ollama run llama2:7b "Hello, world!"
5. 通过 Ollama 下载并运行模型
DeepSeek-r1-32b 模型
ollama run deepseek-r1:32b
安装词嵌入模型
ollama pull nomic-embed-text
6. Python 调用 Ollama API
安装 Python 依赖
pip install ollama requests
编写推理脚本 ollama_inference.py
import ollama# 调试：打印所有模型信息
model_list = ollama.list()
print("当前模型列表:", model_list)# 检查模型是否存在
target_model = "deepseek-r1:32b"
existing_models = [m["model"] for m in model_list.get("models", [])]if target_model not in existing_models:print(f"正在下载模型 {target_model}...")ollama.pull(target_model)
else:print(f"模型 {target_model} 已存在")# 生成文本
response = ollama.generate(model=target_model,prompt="请用Python写一个快速排序算法，并添加注释。",stream=False,options={"temperature": 0.7, "max_tokens": 500}
)print("\n生成的代码：\n", response["response"])
运行脚本
python ollama_inference.py
7. WebUI 安装
使用 Python 包安装程序 pip 安装 Open WebUI
在继续之前，请确保您使用的是 Python 3.11 以上避免兼容性问题。
conda create -n deepseek-webui python=3.12 -y
pip install open-webui -i https://mirrors.aliyun.com/pypi/simple
运行 Open WebUI
open-webui serve
或者后台持续运行：
nohup open-webui serve > output.log 2>&1 &
访问地址：http://localhost:8080查看运行效果
