Docker安装Ollama及使用Ollama部署大模型

摘要： Docker安装Ollama及使用Ollama部署大模型

关键词： Ollama、Docker、大模型

整体说明

现在大模型非常火爆，但是大模型很贵，特别是接口调用，所以对我们这些简单使用的人，可以本地部署使用，步骤如下：

一、Docker安装Ollama

1.1、官方文档

安装平台哪里都不如官方文档专业，所以看官方文档吧

官方文档地址：https://github.com/ollama/ollama/blob/main/docs/docker.md

1.2、环境信息

由于我使用的是 Virtualbox 虚拟机，安装的 Centos7

我查了文档，这个虚拟机无法使用 Nvidia GPU

所以暂且使用 CPU 安装吧

如果后续性能比较差，再使用 GPU

1.3、Docker安装

1.3.1、检查 Docker 状态

安装之前查看docker 是否启动

systemctl status docker

如果没启动，执行启动命令

systemctl start docker

1.3.2、安装 Ollama

执行安装命令 （CPU Only）

docker run -d -v /qjp/software/ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

参数说明：

1. docker run

• 作用：启动一个新的容器实例。
• 说明：Docker 的核心命令，用于从镜像创建并启动容器。

2. -d（--detach）

• 作用：以 后台模式 运行容器。
• 说明：容器启动后会与当前终端分离，终端不会被阻塞，可以继续执行其他命令。
• 典型场景：适用于需要长期运行的服务（如 Web 服务器、数据库等）。

3. -v /qjp/software/ollama:/root/.ollama（--volume）

• 作用：挂载 数据卷，实现宿主机与容器之间的目录映射。
• 参数结构：宿主机目录:容器内目录
• 说明：
  • 将宿主机的 /qjp/software/ollama 目录挂载到容器内的 /root/.ollama 目录。
  • 容器内的 /root/.ollama 通常是 Ollama 的配置和数据存储目录，挂载后数据会持久化到宿主机，避免容器删除后数据丢失。
• 典型场景：用于保存模型文件、配置文件或日志等持久化数据。

4. -p 11434:11434（--publish）

• 作用：映射 容器端口 到 宿主机端口。
• 参数结构：宿主机端口:容器内端口
• 说明：
  • 将宿主机的 11434 端口映射到容器的 11434 端口。
  • 外部通过宿主机的 11434 端口访问容器内的服务。
• 典型场景：Ollama 的 API 或 Web 服务可能默认监听 11434 端口，通过此映射允许外部访问。

5. --name ollama

• 作用：为容器指定一个 自定义名称（这里是 ollama）。
• 说明：
  • 如果不指定名称，Docker 会自动生成一个随机名称（如 angry_curie）。
  • 自定义名称便于后续通过 docker start/stop/rm 等命令管理容器。
• 典型场景：简化容器管理，避免依赖容器 ID。

6. ollama/ollama

• 作用：指定要使用的 Docker 镜像。
• 说明：
  • 如果本地不存在该镜像，Docker 会从 Docker Hub 自动拉取。
  • 未指定标签时，默认使用 latest 标签。
  • 镜像的完整格式为 镜像名:标签（如 ollama/ollama:0.1）。
• 典型场景：使用官方或自定义镜像启动服务。

1.3.3、 Ollama 安装结果

1.3.3.1、执行结果

如下图所示，则安装成功

Docker 的ID是

e92591edf0bc53602e594c956dba19431d3d7de342af5ffb3b15b57b13280036

1.3.3.2、运行验证

页面访问：http://xxx.xxx.xx.xx:11434/

显示 如下图，则 Ollama 安装成功，并正在运行

二、Ollama部署大模型

2.1、 部署codellama:7b

大模型可根据自己的需求去官网上去找

官网地址：https://ollama.com/search

2.1.1、进入 Docker 容器

docker exec -it ollama bash

2.1.2、安装大模型

执行运行大模型，没有的话，会自动安装

ollama run codellama:7b

如下图所示则安装成功，且进入了大模型问答环境，可以对话提问

2.1.3、退出 Docker 容器

CTRL + D

2.2、查看移除大模型

2.2.1、查看大模型

ollama list

2.2.2、移除大模型

ollama rm codellama:7b