Ollama杂记

     Ollama 开启 GPU 加速可显著提升大语言模型运行效率与性能，通过利用 NVIDIA CUDA 等 GPU 并行计算能力优化矩阵运算，推理速度可实现数倍至数十倍的提升，有效降低用户交互延迟。

  1.验证WSL内是否已正确启用CUDA支持，需在两个不同环境（Windows终端和WSL的Linux终端）中运行特定命令。

首先，在Windows终端中检查WSL版本，以管理员身份启动 PowerShell，执行以下命令：

wsl --list --verbose

 运行结果要包括：

然后，在WSL的Linux终端中验证CUDA支持，在WSL中输入以下代码检查NVIDIA驱动是否可见：

nvidia-smi

正常情况下，运行结果如下图：

最后，检查CUDA兼容性库路径，在WSL中执行以下命令：

ls /usr/lib/wsl/lib

确认存在 libcuda.so、libcuda.so.1 等关键桥接库文件。

2.处理CUDA库依赖，使用GPU加速（需NVIDIA驱动支持），需要确保Ollama依赖的CUDA库需要与你的系统环境匹配，若无GPU或使用CPU模式，可忽略CUDA库，Ollama会自动使用CPU版本。

前提条件：

（1）确保Windows系统已安装NVIDIA驱动。

（2）WSL内已启用CUDA支持。

部署CUDA库：

# 创建Ollama库目录
sudo mkdir -p /usr/local/lib/ollama
# 复制CUDA v12库（假设你使用CUDA 12）
sudo cp -r ~/lib/ollama/cuda_v12 /usr/local/lib/ollama/

配置动态链接库路径：

# 临时生效（当前终端）
export LD_LIBRARY_PATH=/usr/local/lib/ollama/cuda_v12:$LD_LIBRARY_PATH

# 永久生效（添加到~/.bashrc）
echo 'export LD_LIBRARY_PATH=/usr/local/lib/ollama/cuda_v12:$LD_LIBRARY_PATH' >> ~/.bashrc
source ~/.bashrc

 

3.验证Ollama的GPU加速

在WSL中执行以下命令：

OLLAMA_DEBUG=1 ollama serve

根据运行日志，出现以下信息时即为 GPU 加速已生效。