当前位置: 首页 > news >正文

简易教程|使用Ollama在本地部署大语言模型(Ollama+Deepseek_R1+OpenWebUI)

目录

一、将Ollama安装到指定位置

二、部署安装大语言模型Deepseek_R1

1. 永久修改大模型默认部署位置

2. 选择相应大语言模型并下载

三、 通过Docker部署OpenWebUI

1. 拉取OpenWebUI项目镜像

2. 在Docker中运行该项目

3. 使用其他大模型进行测试


一、将Ollama安装到指定位置

1. 打开Ollama下载官网,根据自己的操作系统下载相应版本的安装文件。

2. 以管理员运行PowerShell或cmd,用cd命令切换工作路径至ollama安装包所在位置。

3. 输入以下命令运行安装包程序,其中path为已存在的绝对路径。

4. 执行该命令后出现安装界面,点击“Install”安装。

.\OllamaSetup.exe /DIR="path"
Ollama安装界面

5. 测试Ollama是否安装成功。在cmd中输入:

ollama -h

若出现如下图所示则说明Ollama安装成功。

二、部署安装大语言模型Deepseek_R1

1. 永久修改大模型默认部署位置

新建系统变量中的用户变量,变量名为OLLAMA_MODELS。

环境变量添加步骤

2. 选择相应大语言模型并下载

(1) 点击Ollama官网左上角“Models”。

(2) 点击相应的大语言模型。

(3) 根据自身需求选择部署的规模。

(4) 在cmd中粘贴上一步所复制的命令并运行,该语言模型开始下载,下载完成后显示如下。

至此,大语言模型部署完成,从此可通过“ollama run <语言模型名称>”命令运行后可通过命令行进行交互。

三、 通过Docker部署OpenWebUI

1. 拉取OpenWebUI项目镜像

打开docker,打开Terminal终端,输入并执行:

docker pull ghcr.io/open-webui/open-webui:main

等待其下载完成。

2. 在Docker中运行该项目

在运行该项目前请确保Ollama程序处于运行状态。

(1) 在Docker中的Terminal终端中输入并执行以下命令:

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

(2) 打开浏览器,在地址栏输入http://localhost:3000/并打开,进行聊天测试。

在聊天界面的左上角选择当前在Ollama中运行的大语言模型。至此,大功告成!

3. 使用其他大模型进行测试

(deepseek-coder-v2:专用于代码生成)

perfect!

Ollama详细操作请参照Ollama中文文档。

OpenWebUI详细操作请参照OpenWebUI官方文档。

该教程不包括Docker拉取镜像失败的处理,请自行寻找解决方案。

相关文章:

  • 无需服务器,浏览器跑700+AI模型?!
  • rtpengine and redis
  • Python中的Flask深入认知搭建前端页面?
  • Java 的 HttpClient 中使用 POST 请求传递参数
  • 【多线程-第三天-NSOperation的练习-tableView异步下载网络图片-下载操作缓存池 Objective-C语言】
  • Git 入门
  • 《深度学习实战》第2集-补充:卷积神经网络(CNN)与图像分类 实战代码解析和改进
  • 【接口封装】——13、登录窗口的标题栏内容设置
  • 基于Spring Boot的党员学习交流平台设计与实现(LW+源码+讲解)
  • 蓝桥杯学习笔记04-滑动窗口不定长(最短/最小)
  • 插入排序(详解)c++
  • 低功耗设计:(3)架构级优化
  • ChātGPT赋能的“SolidWorks工具箱”:重塑3D设计效率新标杆
  • 【Python LeetCode 专题】树
  • 动手学深度学习2025.2.23-预备知识之-线性代数
  • 【C++】list 链表的使用+模拟实现
  • superset
  • CDefView::_InitViewMenuWhenBarrierNotDisplayed函数分析之删除自定义文件夹
  • 一题学会Java入门语法(需C\C++基础)
  • 计算机毕业设计SpringBoot+Vue.jst网上购物商城系统(源码+LW文档+PPT+讲解)
  • 现货交易平台的新型骗局/网站seo是干什么的
  • 益阳网络公司/天津百度seo代理
  • 动物园网站建设的可行性分析/北海seo快速排名
  • 没被屏蔽的国外新闻网站/网址大全名称
  • 莞城区小程序app网站开发/注册网站流程
  • 发稿平台渠道/长春网站优化方案