当前位置： 首页 > news >正文

【AGI使用教程】GPT-OSS 本地部署（2）

news 2025/8/26 7:01:20

欢迎关注【AGI使用教程】 专栏
【AGI使用教程】GPT-OSS 本地部署（1）
【AGI使用教程】GPT-OSS 本地部署（2）


在这里插入图片描述

【AGI使用教程】GPT-OSS 本地部署（2）基于 WebUI 使用 GPT-OSS

    • 1. 安装Docker
    • 2. 安装WebUI
    • 3. 使用GPT-OSS模型
    • 4. 模型管理与联网搜索
      • 4.1 模型管理
      • 4.2 联网搜索


2025年8月5日，OpenAI 正式发布了 开源 GPT 服务框架：GPT-OSS-120B 和 GPT-OSS-20B。

GPT-OSS 支持主流开源大模型（如 Llama、Qwen、Mistral、Gemma 等），兼容 OpenAI API 标准，具备高性能推理、插件扩展、模型管理、权限控制等能力，适用于智能问答、内容生成、RAG、Agent、企业知识库等多种场景。

本节继续介绍：基于 WebUI 使用 GPT-OSS


Open WebUI 是一款可扩展、功能丰富、用户友好的大语言模型（LLM）交互界面，支持本地部署与离线运行。它支持各种LLM运行程序，包括 Ollama 和 OpenAI 兼容的 API，提供了 web 的方式来访问 Ollama API。
本教程将指导您使用 Docker 安装Open WebUI，并将其与Ollama的GPT-OSS模型集成。这种方法可以简化部署过程，并确保环境的一致性。


1. 安装Docker

Docker是一种虚拟化容器技术。Docker基于镜像，可以秒级启动各种容器。每一种容器都是一个完整的运行环境，容器之间互相隔离。注意Docker Desktop要求Windows 10 Pro或企业版，并且需要启用Hyper-V。

  1. 检查安装环境。检查Windows系统是否开启虚拟化。
    （1）打开任务管理器（Ctrl+Alt+Del），选择：“性能-CPU-虚拟化”，确认 “虚拟化” 已启用。
    （2）如果未开启虚拟化，则要开机重启并进入BIOS 设置：选择Advanced（高级）-CPU Configuration-Secure Virtual Machine，设置为：Enabled（启用）。
    （3）在 “控制面板” 打开 “程序”，然后点击 “启用或关闭Windows功能”，勾选 “Hyper-V 管理工具” 和 “Hyper-V 平台”。
    （4）以管理员身份打开命令行窗口，输入 “wsl --set-default-version 2”，将默认设置为 WSL 2。
    （5）在命令行窗口输入"wsl --update --web-download"，更新安装 wsl。
    通过适用于Linux的Windows子系统 (WSL)，开发人员可以安装Linux发行版，并直接在Windows上使用Linux应用程序、实用程序和 Bash 命令行工具。

在这里插入图片描述


  1. 安装 Docker for Desktop。
    Docker Desktop 是 Docker 官方提供的桌面应用程序。
    （1）下载Docker Desktop。访问Docker官网（https://www.docker.com/），下载 Docker Desktop for Windows安装程序。
    （2）安装Docker Desktop。以管理员身份运行下载的Docker Desktop安装包，安装程序会引导用户完成安装过程。
    （3）创建Docker Hub账号。访问Docker官网，点击右上角的"Sign Up"按钮，进入注册页面注册Docker Hub账号。
    （4）登录Docker Hub账号。访问Docker官网并登录。
    （5）安装完成后，启动Docker Desktop，检查右下角托盘图标状态为"Docker Desktop running"，表明安装成功。

在这里插入图片描述

在这里插入图片描述


（6）打开命令行窗口，输入" docker version "检查，显示docker的版本号，

在这里插入图片描述


  1. 配置国内镜像源。
    在命令行运行 “docker run hello-world”，可能出现报错：" docker: Error response from daemon. (Client. Timeout exceeded while awaiting headers). "。这是Docker守护进程在尝试连接到 Docker Hub（registry-1.docker.io）时，发生连接超时，即访问镜像源失败。配置国内的镜像源或者相关加速可以解决这个问题。

（1）进入Docker Desktop，选择 “Settings-Docker Engine”，将镜像源替换如下。

{"builder": {"gc": {"defaultKeepStorage": "20GB","enabled": true}},"experimental": false,"features": {"buildkit": true},"registry-mirrors": ["https://docker.m.daocloud.io","https://docker.1panel.live","https://registry.docker-cn.com","https://cr.console.aliyun.com","https://mirror.ccs.tencentyun.com"]
}

（2）点击 “Apply” 按钮，然后重启Docker Desktop，等待Engine Starting后就完成镜像源替换。

（3）再次运行 “docker run hello-world”，就可以成功拉取hello-world镜像。

在这里插入图片描述


2. 安装WebUI

Open WebUI 支持本地部署与离线运行大语言模型，提供了web方式来访问 Ollama API。

  1. 从GitHub仓库拉取Open WebUI Docker镜像。

docker pull ghcr.io/open-webui/open-webui:main

在这里插入图片描述


  1. 使用默认设置运行容器 docker。
    （1）使用CPU（不支持GPU）。
docker run -d -p 3000:8080 -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main

（2）若要支持 Nvidia GPU，请在 “docker run” 命令中添加 “–gpus all”。

docker run -d -p 3000:8080 --gpus all -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:cuda

（3）若要跳过登录页面，使用单用户设置，请将 WEBUI_AUTH 环境变量设置为 False。注意：修改后将无法在单用户模式和多帐户模式之间切换。

docker run -d -p 3000:8080 -e WEBUI_AUTH=False -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main

其中：卷映射 -v open-webui:/app/backend/data 可以防止容器重启时数据丢失；端口映射 -p 3000:8080 表示访问主机的 3000端口时，请求会被转发到容器的 8080 端口。
在这里插入图片描述


  1. 访问 WebUI。
    （1）在容器docker中运行open-webui，如下图所示。

在这里插入图片描述

（2）从浏览器访问3000端口：“http://127.0.0.1:3000” 或 “http://localhost:3000”，进入 WebUI。首次访问时，需要创建一个管理员账户。

在这里插入图片描述

（3）再次访问 WebUI 时，则显示如下的登录界面。输入用户名（电子邮箱）和密码，登录WebUI 。

在这里插入图片描述


3. 使用GPT-OSS模型

  1. 访问 WebUI（“http://localhost:3000”），登录用户账号。
  2. 模型配置。点击左上角模型选择按钮，选中 “gpt-oss:20b” 模型，就可以使用本地部署的GPT-OSS模型进行对话了。

在这里插入图片描述

  1. 向GPT-OSS模型提问：【请比较RCNN，Fast RCNN 与 Faster RCNN。】。
    模型的输出如下图所示。

在这里插入图片描述

本地计算机配置NVIDIA RTX 4060Ti（16 GB）单卡GPU，对话时的GPU性能如下图所示，GPU利用率高达98%，表示算力已经满载。

在这里插入图片描述


4. 模型管理与联网搜索

4.1 模型管理

（1）在 Open WebUI 中，选择 “管理员面板-设置-外部连接”，可以下载模型、配置设置和管理连接。

在这里插入图片描述

（2）点击 “管理OpenAI API连接”，在弹出的 “添加连接” 窗口中填写API请求地址和API密钥，可以将您的服务器连接到 Open WebUI。

在这里插入图片描述


4.2 联网搜索

本节内容需要模型支持，GPT-OSS 目前不能支持。
为了充分释放本地模型的潜力，启用网络搜索将允许从网络中获取实时数据，从而通过最新信息增强他们的响应。

  1. 启用网络搜索。
    （1）导航到管理面板：打开WebUI，选择 “管理员面板-设置-联网搜索”。
    （2）启用网络搜索：点击"通用-联网搜索"后的切换按钮，启用联网搜索功能。
    （3）选择搜索提供商：点击"网络搜索引擎"选择搜索根据，如"tavily"。注意有的模型需要API密钥。

在这里插入图片描述


  1. 使用网络搜索：
    启用Web搜索后，模型就可以使用实时搜索功能。当你提出需要当前信息的查询时，该模型将自动从网络中搜索相关数据。
    （1）打开Web搜索：在WebUI聊天界面中，点击输入框下方"联网搜索"图标，该图标转为蓝色背景表明打开Web搜索。
    （2）与模型对话：像往常一样输入提问。如果输入的问题需要联网信息，模型将使用启用的搜索引擎为您提供更准确和最新的响应。

【本节完】

下节 继续介绍：使用API接口调用GPT-OSS


版权声明：
youcans@qq.com 原创作品，转载必须标注原文链接：
【AGI使用教程】GPT-OSS 本地部署（1）
【AGI使用教程】GPT-OSS 本地部署（2）

Copyright@youcans 2025
Crated：2025-08


http://www.dtcms.com/a/349720.html

相关文章：

  • 【广告系列】流量优选
  • 第二章 设计模式故事会之策略模式：魔王城里的勇者传说
  • AcrelEMS-EDU在实践中的应用系列—“综合能源管理”
  • 2025年8月25日-8月31日(qtopengl+ue独立游戏）
  • 23种设计模式：模板方法模式与策略模式
  • vue 一键打包上传
  • 【车载开发系列】汽车零部件DV与PV试验的差异
  • 【QT/C++】实例理解类间的六大关系之组合关系（Composition）
  • 农业气象监测站：像敏锐的精灵，捕捉农业气象的每一丝变化
  • 18 继续学习
  • 【图像处理基石】基于Real-ESRGAN的实时图像超分辨率技术实现
  • 【GPT-5 与 GPT-4 的主要区别？】
  • 零基础也能写博客：cpolar简化Docsify远程发布流程
  • 基于波前编码成像系统模拟及图像复原的MATLAB实现
  • GPT5的Test-time compute（测试时计算）是什么？
  • 《C++ Primer 第五版》 initializer_list
  • 记一次 element-plus el-table-v2 表格滚动卡顿问题优化
  • Vue SFC Playground 如何正确引入 naive-ui
  • Kubernetes高可用架构设计：多Master节点部署与etcd集群运维深度指南
  • 6.3Element UI 的表单
  • Odoo 非标项目型生产行业解决方案：专业、完整、开源
  • 第十七节：高级材质 - ShaderMaterial揭秘
  • SOME/IP-SD报文中 Entry Format（条目格式）-理解笔记4
  • 从“数据孤岛”到“业财融合”，外贸订单管理ERP重构一体化逻辑
  • 将跨平台框架或游戏引擎开发的 macOS 应用上架 Mac App Store
  • springboot中操作redis的步骤
  • 6.4 Element UI 中的 ＜el-table＞ 表格组件
  • 疯狂星期四文案网第49天运营日记
  • 疯狂星期四文案网第50天运营日记
  • 渗透测试报告编写平台 | 简化和自动化渗透测试报告的生成过程。