docker内如何用ollama启动大模型
[root@node2 ~]# docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
docker.m.daocloud.io/ollama/ollama 0.11.11-rc2-rocm 356a5109feb8 33 hours ago 6.37GB
暂时不想用 GPU 加速(仅用 CPU 运行)
如果没有 GPU 或不想配置驱动,可以去掉与设备相关的参数,仅用 CPU 运行(注意:14B 模型对 CPU 内存要求极高,至少需要 32GB 内存):
# 停止并删除之前的错误容器
docker rm -f ollama# 仅用 CPU 运行(去掉 --device 和 --group-add 参数)
docker run -d \--name ollama \-p 11434:11434 \-v ollama_data:/root/.ollama \docker.m.daocloud.io/ollama/ollama:0.11.11-rc2-rocm
当你使用 -v ollama_data:/root/.ollama 启动容器时,ollama_data 是 Docker 的命名卷(named volume),其数据在物理机上的默认存储路径由 Docker 管理,通常位于:
/var/lib/docker/volumes/ollama_data/_data
进入容器内部
docker exec -it ollama /bin/sh
拉取 qwen3:14b 模型(根据网络情况,可能需要较长时间)
ollama pull qwen3:14b