当前位置：首页 > news >正文

MaxKB + Ollama + DeepSeek本地部署

news 来源：原创 2025/5/26 7:24:10

本地部署AI大模型

通过ollama部署本地AI大模型，Ollama是管理和部署大模型的一个工具，它可以帮助我们在本地更加方便并快速的部署和使用各种大模型

下面是我通过虚拟机CentOS7.9.2009版本进行演示

1、安装和配置`Ollama`

1.1 下载`Ollama`安装包

Ollama同时支持macOS、Linux和Windows操作系统

官网：Download Ollama on Linux

教程：快速入门 - Ollama 中文文档

Git官网：ollama/docs/linux.md at main · ollama/ollama · GitHub

1.1.1 Linux操作系统命令行安装

curl -fsSL https://ollama.com/install.sh | sh

# 如果安装不成功，可以开启VPN代理
export https_proxy=http://宿主机IP:port

1.1.2 Linux操作系统离线安装

# 安装前要注意查看自己的CPU是什么架构的
uname -m

# 使用curl下载
curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz

# 如果curl下载不了，可能要先VPN翻墙，可以通过宿主机的VPN实现翻墙
export https_proxy=http://宿主机的IP:port
curl -L https://ollama.com/download/ollama-linux-amd64.tgz -o ollama-linux-amd64.tgz

# 直接使用借助宿主机进行下载安装包，这是amd架构即x86
https://ollama.com/download/ollama-linux-amd64.tgz

# arm架构
https://ollama.com/download/ollama-linux-arm64.tgz

# 解压
sudo tar -C /usr/local/ollama -xzf ollama-linux-amd64.tgz

1.2 将`ollama`服务使用`systemctl`进行管理

cat << EOF | tee /usr/lib/systemd/system/ollama.service

[Unit]
Description=Ollama Service
After=network.target

[Service]
Environment=OLLAMA_HOST=0.0.0.0:11434
ExecStart=/usr/local/ollama/bin/ollama serve
Restart=on-failure
User=root
Group=root

[Install]
WantedBy=multi-user.target

EOF

# 使用systemctl管理ollama服务
systemctl enable --now ollama
systemctl status ollama

1.3 `Ollama`语法

可以从官网教程看到一些Ollama的用法，使用浏览器输入http://ip:11434，可以从浏览器中看到Ollama is running字样

ollama server：启动ollama服务，当然我现在已经使用systemctl管理

ollama list：查看下载的大模型
ollama pull llama3.2：下载AI大模型llama3.2
ollama rull llama3.2：下载AI大模型并运行
ollama rm llama3.2：删除大模型
ollama stop llama3.2：停止llama大模型
ollama ps：列出当前已加载的模型
/exit or /bye：退出模型对话框

配置大模型下载的路径：export OLLAMA_MODELS=/models

2、安装和配置UI界面

我这里使用docker直接去安装图形化UI界面，我已两个流行的AI web界面为例

2.1 `MaxKB`

基于大语言模型和RAG的知识库问答系统，操作系统支持：Ubuntu 22.04 / CentOS 7.6 64 位系统，所以要其他操作系统要借助Docker进行安装

官网：MaxKB - 基于大模型和 RAG 的知识库问答系统 - 官网

# Linux 操作系统
docker run -d --name=maxkb --restart=always -p 8080:8080 -v ~/.maxkb:/var/lib/postgresql/data -v ~/.python-packages:/opt/maxkb/app/sandbox/python-packages cr2.fit2cloud.com/1panel/maxkb

# Windows 操作系统
docker run -d --name=maxkb --restart=always -p 8080:8080 -v C:/maxkb:/var/lib/postgresql/data -v C:/python-packages:/opt/maxkb/app/sandbox/python-packages cr2.fit2cloud.com/1panel/maxkb

这个过程需要的时间相对较长，需要耐心等待

访问

通过浏览器http://ip:8080进行访问
用户名：admin，密码：MaxKB@123..

2.2 `Open Web UI`

官网：GitHub - open-webui/open-webui: User-friendly AI Interface (Supports Ollama, OpenAI API, ...)

# 如果ollama部署到当前虚拟机中
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

# 如果ollama部署到其他要制定ollama网址
docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=https://example.com -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main