Docker 部署 Ollama 详细教程以及镜像高速下载地址
目录
1. 安装 Docker
2. 拉取 Ollama 镜像
3. 运行 Ollama 容器
4. 拉取并运行模型
5. 通过 API 访问(可选)
6. 停止和重启容器
注意事项
镜像高速下载地址
使用 Docker 部署 Ollama 是一种简单高效的方式,以下是详细步骤:
1. 安装 Docker
首先确保你的系统已安装 Docker。如果未安装,可以参考官方文档:
- Docker 安装指南
2. 拉取 Ollama 镜像
Ollama 官方提供了 Docker 镜像,使用以下命令拉取:
bash
docker pull ollama/ollama
3. 运行 Ollama 容器
使用以下命令启动 Ollama 容器,需要映射端口并挂载数据卷以持久化模型数据:
bash
docker run -d \--name ollama \-p 11434:11434 \-v ollama_data:/root/.ollama \--restart always \ollama/ollama
参数说明:
-d
:后台运行容器--name ollama
:指定容器名称为 ollama-p 11434:11434
:将容器的 11434 端口映射到主机的 11434 端口(Ollama 默认端口)-v ollama_data:/root/.ollama
:创建数据卷持久化存储模型--restart always
:容器退出时自动重启
4. 拉取并运行模型
容器启动后,使用以下命令进入容器内部操作:
bash
docker exec -it ollama bash
在容器内拉取并运行模型(以 llama3 为例):
bash
ollama pull llama3
ollama run llama3
5. 通过 API 访问(可选)
如果需要通过 API 访问 Ollama,可以使用 HTTP 请求:
bash
curl http://localhost:11434/api/generate -d '{"model": "llama3","prompt": "Hello! What is Docker?"
}'
6. 停止和重启容器
- 停止容器:
docker stop ollama
- 启动容器:
docker start ollama
- 查看容器状态:
docker ps -a | grep ollama
注意事项
- 如果需要使用 GPU 加速,需要安装 NVIDIA Docker 支持,并使用带有 GPU 的镜像
- 不同模型对系统资源要求不同,确保你的服务器有足够的内存和 CPU/GPU 资源
- 防火墙需要开放 11434 端口(如果需要远程访问)
通过以上步骤,你可以快速在 Docker 中部署和使用 Ollama,管理各种大语言模型。
镜像高速下载地址
镜像将近3个G,没关系,我会出手,已经准备好了高速下载资源
https://pan.quark.cn/s/3f2a66e49a89?pwd=GC1u
我用夸克网盘给你分享了「ollama高速下载镜像」,点击链接或复制整段内容,打开「夸克APP」即可获取。
/~e8eb38Ptt0~:/
链接:https://pan.quark.cn/s/3f2a66e49a89?pwd=GC1u
提取码:GC1u