Docker运行Ollama

1.docker-compose启动ollama

按照 ollama docker-compose配置说明 配置并启动ollama容器，启动成功后，浏览器访问 http://localhost:11434 如果显示如下即代表成功

如果你的服务器支持GPU，可添加GPU参数支持，参考：https://hub.docker.com/r/ollama/ollama

2.Ollama指定要运行的模型

Ollama安装完毕后，还需要继续下载大模型，支持的大模型可以在 Ollama官网 找到。Ollama默认没有提供WEB界面，需要通过命令行来使用，先输入命令进入容器

# 进入容器
docker exec -it ollama /bin/bash # 指定ollama运行指定模型
# 第一次执行会自动下载模型1.5B 模型（大约1GB），下载完成后便可进入交互模式（命令行式对话）
# 也可直接只执行 pull 命令下载
ollama run deepseek-r1:1.5b# 或者只下载模型
ollama pull deepseek-r1:1.5b

3.RestFul访问Ollama

curl http://localhost:11434/api/generate -d '{"model": "deepseek-r1:1.5b","prompt": "你好，世界！","stream": false
}'

Ollama常用命令

# 运行一个指定大模型
ollama run llama3:8b-text# 查看本地大模型列表
ollama list# 查看运行中的大模型
ollama ps# 删除本地指定大模型
ollama rm llama3:8b-text