当前位置: 首页 > news >正文

个人电脑部署本地大模型+UI

在这个AI飞速进步的时代,越来越多的大模型出现在市面上

本地大模型也越来越火爆!

它完全免费,随时可以访问,数据仅存在本地,还可以自己微调,训练!

今天我来教大家,如何在一台普通的个人电脑上,部署属于自己的大模型!

01 硬件要求

操作系统: Windows 10+,macOS11+

内存: 4G以上,最好8G

cpu:4核心以上

gpu(独立显卡):完全不需要!

02安装框架环境

我们将使用目前最火的本地大模型运行环境ollama部署大模型

下载地址:Download Ollama on Windows

点开这个页面后下载合适自己系统的安装包.

按提示安装(一直下一步就行)

03选择本地大模型

打开以下链接,进入ollama的本地大模型库

Ollama

***如何选择合适的本地大模型***

模型名称后面的“b”代表大模型的参数量。

Windows电脑

内存4到8g:1.5-5b

内存8到16g7-14b

内存16g+:14-32b

有GPU32b+

MAC电脑

Intel芯片:7-16b

apple芯片:16-32b

找到合适的大模型后,点进它的详情页。

在左侧框里选择大模型的'B'值

再把右侧的代码复制下来。

几个好用的大模型推荐

1deepseek-r1

2gemma2

3llama3.3

04安装本地大模型

Windows电脑打开命令提示符(cmd)

macOS打开终端

粘贴运行刚才复制的代码

ollama会自动下载模型。

等待模型下载成功,中途不要变换网络!

等待下载成功,就可以聊天了。

以下是一些常用的ollama命令

1下载/打开大模型:ollama run 模型名

2查看已安装的大模型:ollama modems

3删除大模型:ollama rm 模型名

05安装UI

本地大模型只能在命令行中使用,很不方便

我们可以为它安装一个类似于open AI的聊天界面,使我们可以微调大模型,上传文件,进行多模型支持,以及保存回话内容。

这里使用开源的Page AssistUI(适用于edge和Chrome)

访问:Page Assist - 本地 AI 模型的 Web UI | Chrome扩展 - Crx搜搜

若报安全问题,请选择保留。

安装成功后点击插件图标,进入聊天界面,开始使用!

这套方法成功率极高,如有问题,请留言!

相关文章:

  • 湖北理元理律师事务所:企业债务重组的风险控制方法论
  • 11.RV1126-ROCKX项目 API和人脸检测画框
  • CMake 为 Debug 版本的库或可执行文件添加 d 后缀
  • DRV8833 电机控制芯片
  • 东芝Toshiba DP-4528AG打印机信息
  • 高精度加减乘除
  • 从零开始的python学习(七)P95+P96+P97+P98+P99+P100+P101
  • 软件测试:质量保障的基石与未来趋势
  • Linux 初始化与服务管理全解析:rc.d、systemctl与service对比
  • Python | Windows11通过离线方式安装pyserial
  • 缓解骨质疏松 —— 补钙和补维 D
  • 最长回文子串问题-Manacher算法深度解析
  • 深入浅出Java ParallelStream:高效并行利器还是隐藏的陷阱?
  • 【多线程初阶】阻塞队列 生产者消费者模型
  • 测试设计技术全解析:黑盒与白盒测试的七种武器与覆盖率指标
  • 数据库优化秘籍:解锁性能提升的 “潘多拉魔盒”
  • 数据治理在制造业的实践案例
  • 如何利用 Redis 实现跨多个无状态服务实例的会话共享?
  • Java下载文件(特殊字符编码处理)
  • iview Switch Tabs TabPane 使用提示Maximum call stack size exceeded堆栈溢出
  • 餐饮网站建设怎么建设的/网站seo主要是做什么的
  • WordPress如何调用/鼓楼网站seo搜索引擎优化
  • 合肥网站设计/引流人脉推广软件
  • 南昌哪里有网站建设/暴疯团队seo课程
  • 马格南摄影网站/网络营销推广方案策划书
  • ps怎么做网站界面设计/seo关键词外包公司