Deepseek大模型私有化部署

        在本教程中，我们将探讨如何利用 ollama 来实现大模型的快速部署，同时还会涉及到使用 lobehub 或 openwebui 作为可视化对讲界面。

        ollama 为大模型的快速部署提供了便利的途径，通过它可以高效地搭建起大模型的运行环境。

        而 lobehub 或 openwebui 则为我们提供了可视化对讲界面，使得与模型的交互更加直观和便捷。

        这样的组合为我们在处理大模型相关任务时提供了更好的体验和效率。

        通过本教程，希望能帮助读者们掌握这些技术，从而在自己的项目中更好地应用大模型。

一、安装ollama

（1）拉取安装ollama安装脚本

curl -fsSL https://ollama.com/install.sh | sh

• 官网地址： Ollama

（2）配置ollama允许访问

sudo systemctl edit ollama.service

[Service]
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_ORIGINS=*"

sudo systemctl daemon-reload
sudo systemctl restart ollama

二、安装Deepseek-r1模型

（1）使用ollama命令拉取deepseek-r1以及运行

 ollama run deepseek-r1:7b

示例：

三、安装可视化对话软件（lobehub or openwebui）

（1）安装lobehub

1、资料

• 官网： LobeHub - LobeChat：个人 LLM 效能工具，超越 ChatGPT / OLLaMA 使用体验
• github： 跳转中...

2、创建目录

mkdir -p /usr/local/suweijie/lobehub && cd /usr/local/suweijie/lobehub 

3、克隆源码

yum install -y git

git clone https://github.com/lobehub/lobe-chat.git

cd lobe-chat/

4、安装nvm

curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.40.1/install.sh | bash

export NVM_DIR="$([ -z "${XDG_CONFIG_HOME-}" ] && printf %s "${HOME}/.nvm" || printf %s "${XDG_CONFIG_HOME}/nvm")"
[ -s "$NVM_DIR/nvm.sh" ] && \. "$NVM_DIR/nvm.sh"

5、安装node

nvm install 22

npm install -g pnpm

6、安装lobehub的依赖

pnpm install

7、启动

pnpm dev

（2）lobehub的使用

1、配置模型

2、使用

（3）安装openwebui

1、基于docker安装

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

2、配置模型

3、使用