公司内网部署离线deepseek+docker+ragflow本地模型实战
企业内部可能有些数据比较敏感,不能连接互联网。本次实验操作是将deepseek完全离线后迁移至内网使用,实验基于Windows server 2022 datacenter系统安装deepseek、docker、ragflow。
目录
- 使用VMware新建WIN2022虚拟机
- 一、安装DeepSeek模型
- 二.安装Docker
- 二、将C盘知识库存入D盘
使用VMware新建WIN2022虚拟机
(本步骤省略)
一、安装DeepSeek模型
- 下载ollama
官网https://ollama.com/下载自已电脑对应的ollama 版本。
下载太慢的请看这里,我用移动的宽带下特别快
两个文件下到同一目录,用360解压缩
https://download.csdn.net/download/xzzteach/90571904
https://download.csdn.net/download/xzzteach/90571885
- 安装ollama
注意:
Ollama安装包默认只能安装到C盘,Ollama本身大概会占用4GB左右;
如果大家都C盘空间充足的话可以直接双击打开安装包点击安装即可;
建议将Ollama安装包放到想要安装的路径下,本实验安装在 D:\ds\ollama
在安装文件目录中进入CMD
输入安装指令
OllamaSetup.exe /DIR=D:\ds\ollama
点击install
进行安装
检查安装成功的版本号
ollama -v
- 本地离线部署DeepSeek
选择模型并下载
打开Ollama官网,点击顶部的Models链接,选择deepseek-r1模型,如下图所示:
这里以14B模型为例(推荐使用移动宽带这样下载快一些)
ollama run deepseek-r1:14b
出现success就代表成功了,并且可以进行对话.
二.安装Docker
安装前先打开启用或关闭Windows功能界面 ,随后打开红框中的内容,如果第一个红框没有的话那么看看有没有一个叫做虚拟机平台 的进行打开
开始菜单搜索“控制面板”
执行
dism /online /enable-feature /all /featurename:Microsoft-Hyper-V
提示重启,输入Y重启服务器
下载docker
https://www.docker.com/
因为笔者服务器系统Windows server 2022 C盘空间特别小,这里把Docker安装到D盘
先创建两个文件夹
mkdir D:\ds\DockerDesktop
mkdir D:\ds\DockerDesktop\data
查看目录已成功创建
现在开始安装
start /w "" "Docker Desktop Installer.exe" install -accept-license --installation-dir="D:\ds\DockerDesktop" --wsl-default-data-root="D:\ds\DockerDesktop\data" --windows-containers-default-data-root="D:\\ds\\DockerDesktop"
wsl --update
下载ragflow
https://github.com/infiniflow/ragflow
原来是这样的
修改成如下所示:也就是标红部分未注释的注释掉,已注释的取消(这样才能带Embedding模型)
docker端口与本地对应关系根据自己的情况修改,我这里保持了默认:
来到ragflow的docker目录执行命令如下:
docker compose -f docker-compose.yml up -d
- 搭建个人知识库
输入指令
ollama pull shaw/dmeta-embedding-zh
- 安装python3.11
https://download.csdn.net/download/xzzteach/90572963 - 安装Open WebUI
pip install open-webui -i https://mirrors.aliyun.com/pypi/simple/
- 启动Open WebUI
open-webui serve
启动后,你可以通过访问 http://localhost:8080
来访问 Open WebUI 的 Web 界面,如果需要其他电脑访问,将以上localhost改为服务器IP地址。
首次访问 Open WebUI 时,你将会看到一个登录界面。在这个界面上,你需要创建一个管理员账号。输入必要的信息后,你将能够访问管理员面板,进行模型管理和 API 配置。
在管理员面板中,你需要配置 Ollama 的 API。点击相应的设置选项,输入你安装 Ollama 时生成的 API 地址和密钥。确保配置正确,这样 Open WebUI 才能成功连接到 Ollama 并调用 Deepseek-R1-14b 模型进行推理。
二、将C盘知识库存入D盘
C:\Users\Administrator\AppData\Roaming\CherryStudio
链接至D:\CherryStudio
将C:\Users\Administrator\AppData\Roaming\CherryStudio整个目录剪切至D盘
输入如下命令
mklink /D "C:\Users\Administrator\AppData\Roaming\CherryStudio" "D:\CherryStudio"