当前位置： 首页 > news >正文

个人电脑部署私有化大语言模型LLM

news 2025/8/3 5:26:04

个人电脑部署私有化大语言模型

首先要知道的是我们需要后端和前端，这里我们使用后端ollama，但是由于部署完后端之后，需要用命令行操作，不方便，
所以我们需要部署前端框架（chatbox AI, Stremlit(需要编程实现)）

Chatbox AI

是一款集多模型对话、文件解析、AI绘图、代码生成等功能于一体的全能AI助手，支持Windows、Mac、Linux、iOS、Android 及网页全平台。凭借简洁直观的界面设计、强大的本地化处理能力和开箱即用的云端服务，Chatbox AI 已成为提升工作效率的首选工具。
在这里插入图片描述

后端 ：ollama下载

https://ollama.com/download
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述、

可以search models搜索你需要的模型，我将部署deepseek所以直接点击第一个

在这里插入图片描述

点击deep seek后选择你需要部署的模型，这里我将部署最小的模型，点击箭头所指

在这里插入图片描述

点击上述箭头之后，会出现下述的命令行

在这里插入图片描述

把命令行输入到命令行窗口

ollama run deepseek-r1:1.5b

在这里插入图片描述

部署成功，可以使用命令行进行询问

在这里插入图片描述

前端部署 ：安装chatbox AI

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

部署成功

在这里插入图片描述

企业开发自己的Ai工具需要使用编码的前端框架 Stremlit,我先研究研究之后更新

http://www.dtcms.com/a/310839.html

相关文章：

  • python+pyside6的简易画板
  • 损失函数和调度器相关类代码回顾理解 |nn.CrossEntropyLoss\CosineAnnealingLR
  • Codeforces Round 1040 (Div. 2) A - D题详细题解
  • DP-v2.1-mem-clean学习（3.6.8-3.6.8.1）
  • Java试题-选择题（3）
  • 风光储并离网切换仿真模型（下垂控制一次调频）
  • CORS模块：你的跨域快速通行证 [特殊字符]
  • 第七章 愿景13 CBS升级
  • Git 误删分支怎么恢复
  • 中国不同类型竹林分布数据
  • 一个强大的向量数据库——Milvus
  • 8.1.2 TiDB存储引擎的原理
  • 鹧鸪云：16步精控工商业光伏全流程
  • Au速成班-多轨编辑流程
  • C语言函数指针和结构体
  • 第13届蓝桥杯Python青少组中/高级组选拔赛（STEMA）2022年1月22日真题
  • socket编程-UDP（2）-设计翻译系统
  • 基于线性规划的储能充放电仿真系统
  • 读取数据集及数据集划分
  • 7.苹果ios逆向-目录结构
  • 【vue】Vue 项目创建工具对比：vue create 与 create-vue 的核心区别
  • 安卓开发--LinearLayout（线性布局）
  • 华锐矩阵世界平台与海外客户洽谈合作
  • 将 YOLOv11 的 .pt 模型转换为 YOLOv8 格式需要特定的处理流程 机器学习 计算机视觉cv
  • Spotlight on MySQL 300安装教程（附使用指南）：实时监控MySQL性能的工具
  • 好未来披露2026财年Q1财报：净利润3128万美元，同比大增174%
  • 解决IDEA中MAVEN项目总是将LANGUAGE LEVEL重置的问题
  • InteriorGS 数据集
  • 力扣-字母异位词
  • gpu 优化