当前位置: 首页 > news >正文

本地部署【LLM-deepseek】大模型 ollama+deepseek/conda(python)+openwebui/docker+openwebui

通过ollama本地部署deepseek
总共两步
1.模型部署
2.[web页面]

参考官网
ollama:模型部署
https://ollama.com/
open-webui:web页面
https://github.com/open-webui/open-webui

设备参考 Mac M 芯片 windows未知

蒸馏模型版本:deepseek-r1:14b 运行情况
	macminim2 24+256 本地部署后内存舒缓,不影响电脑其他软件使用
	macminim4 16+256 本地部署后内存紧张,影响电脑其他软件使用
	内存占用情况:
	11G -> 21.72G 模型思考时,大概会占用11到12G的内存 

1.ollama:模型部署

	# 下载 ollama
	https://ollama.com/
	# 运行 deepseek 选择自己设备适合的版本[:14b],官网看命令 
	ollama run deepseek-r1:14b # 当前终端运行,可在终端交互
	ollama run deepseek-r1:14b & disown   # 放到后台去跑,终端页面关掉也不会关闭此模型

2.open-webui:web页面 推荐python的终端部署方式

2.1 docker部署web页面

	#
	docker pull ghcr.io/open-webui/open-webui:main
	# 创建本地目录,避免重启后数据丢失
	mkdir /Users/admin/program/docker/instance/open-webui/data
	cd /Users/admin/program/docker/instance/open-webui
	# 启动容器
	docker run -d -p 3000:8080 -v $PWD/data:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main

2.2 python部署web页面 需要在有python环境下执行 推荐

	pip install open-webui
	open-webui serve
	open-webui serve & disown 
	# This will start the Open WebUI server, which you can access at http://localhost:8080

2.3 [忽略] conda创建python环境

	conda create -n openwebui python=3.12 -y 
	# python=3.12:指定 Python 版本 -y:自动确认安装
	conda init
	conda activate openwebui

	pip install open-webui
	open-webui serve							# 这个不能关闭终端
	open-webui serve & disown  					# 使用这个启动成功后,可以关闭终端了
	open-webui serve > /dev/null 2>&1 & disown 	# 使用这个启动成功后,可以关闭终端了
	# This will start the Open WebUI server, which you can access at http://localhost:8080

	# 放在后台的任务如何查看呢
	jobs							# 使用 jobs 命令查看当前作业状态。
	ps aux | grep "your-command"	# 或者使用 ps aux | grep "your-command" 检查进程是否存在。
	
	

相关文章:

  • Linux自旋锁:探秘内核同步利器
  • [MySQL]1-MySQL结构与运行原理
  • 《刚刚问世》系列初窥篇-Java+Playwright自动化测试-22- 操作鼠标拖拽 - 下篇(详细教程)
  • Django在终端创建项目(pycharm Windows)
  • 区块链+隐私计算:长安链多方计算合约标准协议(CMMPC-1)发布
  • @JsonRawValue 注解
  • Bash 中的运算方式
  • 【Linux】【进程】epoll内核实现
  • uniapp 使用 鸿蒙开源字体
  • Go框架面试突击!30道高频题解析
  • 将 AMD Zynq™ RFSoC 扩展到毫米波领域
  • 探索Java中的集合类_特性与使用场景
  • Git 与持续集成 / 持续部署(CI/CD)的集成
  • 20250213 隨筆 雪花算法
  • 在使用 uni.getLocation 步骤和一些坑
  • MySQL中类似PostgreSQL中的string_agg函数--GROUP_CONCAT函数的使用
  • Go 语言调用 SiliconFlow 的 Deepseek AI Janus-Pro-7B 模型进行图像生成
  • 路由过滤方法与常用工具
  • 前端开发工程中如何利用DeepSeek提升工作效率:实战案例与策略解析
  • 5g基站测试要求和关键点
  • 国家主席习近平同普京总统出席签字和合作文本交换仪式
  • 大四本科生已发14篇SCI论文?学校工作人员:已记录汇报
  • 牛市早报|央行宣布降准降息,公募基金改革最新方案落地
  • 公募基金解读“一揽子金融政策”:增量财政空间或打开,有助于维持A股活力
  • 农行原首席专家兼浙江省分行原行长冯建龙主动投案被查
  • 最新研究:基因编辑治疗晚期胃肠道癌显成效