当前位置: 首页 > news >正文

Win10环境借助DockerDesktop部署Open web UI集成DeepSeek

Win10环境借助DockerDesktop部署Open web UI集成DeepSeek

前言

之前已经部署了基于Ollama的DeepSeek:

https://lizhiyong.blog.csdn.net/article/details/145505686

并集成了ChatBox:

https://lizhiyong.blog.csdn.net/article/details/145524481

还折腾了DockerDesktop环境:

https://lizhiyong.blog.csdn.net/article/details/145580868

今天试一试部署Open WebUI,它可以开关DeepSeek的上下文联想功能,还可以集成联网搜索等功能。

由于目前的Open web UI只支持python3.11,Docker容器方式可以很好地避免环境问题。

部署

参考官方文档:

https://docs.openwebui.com/

在这里插入图片描述

灰常简洁地给出2个Docker命令:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main	#正常命令
docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda	#支持英伟达显卡的命令

由于笔者之前已经部署了Ollama【本地部署,非容器】,且丽台A4000显卡之前搞定了驱动和CUDA:

https://lizhiyong.blog.csdn.net/article/details/127827522

故笔者参考第二个命令:

docker run -d -p 3008:8080 --gpus all --add-host=host.docker.internal:host-gateway -v E:\dockerData\volume\openWebUI1:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

容器镜像加速

科学上网后容器拉取还是很慢,故需要配置容器镜像加速:

在这里插入图片描述

找一个容器镜像加速地址,笔者使用的是阿里云。可以去官网自己获取一个:

https://cr.console.aliyun.com/cn-hangzhou/instances/mirrors

容器运行

在这里插入图片描述

由于容器运行起来后,还需要加载一些资源文件,所以暂时还不能访问网页。

待加载完成后:

http://localhost:3008/auth

可以查看界面:

在这里插入图片描述

设置管理员u/p后即可使用。

在这里插入图片描述

由于之前已经配置好了各种环境变量,且开放了Docker容器和本机直接的网络端口,此时已经自动识别到部署过的2个小模型。

启用联网搜索

在这里插入图片描述

随便提问一下,open webui这个界面的好处就体现出来了:

可以同时对多个模型提问,并对生成的结果做比对。

可以开启联网搜索:

在这里插入图片描述

在这里插入图片描述

奶思,现在它可以通过DuckDuckGo联网搜索百度百科和知乎。。。1.5b还是一如既往的愚蠢。。。14b智力要正常很多。

此时GPU的显存已经接近打满了。。。玩AI还是得大显存显卡才行。

思,现在它可以通过DuckDuckGo联网搜索百度百科和知乎。。。1.5b还是一如既往的愚蠢。。。14b智力要正常很多。

此时GPU的显存已经接近打满了。。。玩AI还是得大显存显卡才行。

显然和Chat Box相比,open webui方式集成虽然麻烦些,但可玩性变好了。。。

转载请注明出处:https://lizhiyong.blog.csdn.net/article/details/145582453

在这里插入图片描述

相关文章:

  • 【二叉树学习7】
  • 【NLP 21、实践 ③ 全切分函数切分句子】
  • webpack打包优化策略
  • SpringMVC环境搭建
  • 数据库——韩顺平(每日进行更新,直至更完)
  • 【Git】三、远程管理
  • Java 大视界 -- 深度洞察 Java 大数据安全多方计算的前沿趋势与应用革新(52)
  • MySQL数据库误删恢复_mysql 数据 误删
  • 物联网领域的MQTT协议,优势和应用场景
  • 大模型参数规模解析:32B中的“B“代表什么?如何影响AI性能?
  • C# CultureInfo 地区影响字符串
  • 如何通过腾讯 ima.copilot 训练自己的知识库
  • Repo、manifest以及Gerrit分别是什么?
  • C#的async异步方法里如果使用了await,那么它跟同步方法有什么区别?
  • KubeSphere 和 K8s 高可用集群离线部署全攻略
  • 解决No matching client found for package name xxx编译报错的问题
  • 软考高级《系统架构设计师》知识点(二)
  • Vue.js 与低代码开发:如何实现快速应用构建
  • git 克隆指定 tag 的项目
  • 基于MATLAB的沥青试样孔隙率自动分析——原理详解与代码实现
  • 美的集团一季度净利增长38%,库卡中国机器人接单增超35%
  • 中国人保一季度业绩“分化”:财险净利增超92%,寿险增收不增利
  • 对话|贝聿铭设计的不只是建筑,更是生活空间
  • 专访丨青年作家杜梨:以动物的视角去观察这个世界
  • 马上评丨学生举报食堂饭菜有蛆,教育局应该护谁的犊子
  • 格力电器去年净利增长一成:消费电器营收下滑4%,一季度净利增长26%