当前位置：首页 > news >正文

部署本地版AI大模型

news 来源：原创 2025/6/22 15:42:44

注意：本文内容于 2025-02-20 22:57:34 创建，可能不会在此平台上进行更新。如果您希望查看最新版本或更多相关内容，请访问原文地址：部署本地版AI大模型。感谢您的关注与支持！

现在大模型层出不穷，底层技术架构趋于同质化。甚至可以以模型的参数量直接作为判断模型智能程度的高低。

本地大模型的噱头流行了好长时间。我也凑了下热闹。只能说不符合我的使用预期吧，因为下载的都是别人预训练模型，已经定型了，微调的作用也不大。

如果真的想要发挥本地小模型的作用，还是得自己从头开始训练模型。这是后话了，本篇文章就是记录如何在本地安装预训练模型。

我的笔记本配置如下

CPU: I9-14900HX 24核32线程
GPU: RTX-4060 8GB显存
RAM: 32GB
ROM: 3TB

我在本地安装了三个版本模型，分别是

deepseek-r1:7b
deepseek-r1:8b
deepseek-r1:14b

这三款模型均能丝滑响应。

简单介绍下模型中的7b/8b/14b的含义——b是billion(十亿)的缩写，表示模型的参数量。

参数量就相当于大脑中的神经元连接，人的大脑约1000亿个神经元。

而现在的大模型比如Qwen2.5-72b拥有720亿参数、DeepSeek-v3-671b拥有6710亿个参数。

像我在使用Qwen2.5-72b的时候，还能明显在很浅显的知识点里面发现他在胡编乱造，而在使用DeepSeek-v3时，已经很难找到他的错误点了。

模型参数少的时候，人脑还能判断模型在胡编乱造。当时随着模型的参数越来越多，覆盖的知识面越广，即便是胡编乱造，人脑也很难分辨出来了。这里的胡编乱造，用专业属于描述叫做“AI幻觉”。

AI幻觉（AI Hallucinations）是指生成式人工智能模型在生成文本或回答问题时，尽管表面上呈现出逻辑性和语法正确的形式，但其输出内容可能包含完全虚构、不准确或与事实不符的信息。

AI幻觉的产生通常是由于模型在缺乏相关信息的情况下，通过概率性选择生成内容，而非基于真实世界的知识库或逻辑推理，这使得其输出不仅难以信赖，且可能误导用户。

下面记录安装步骤

一、部署模型

下载Ollama，一路无脑下一步。

安装完毕后，命令行进行模型安装

# 获取模型列表
ollama list
# 下载并使用命令行模式运行模型
ollama run deepseek-r1:14b
# 获取正在运行的模型
ollama ps
# 停止某个模型
ollama stop deepseek-r1:14b
# 启动ollama，默认端口11434
ollama serve

二、安装GUI

2.1 PC版-ChatBox

下载Chatbox

选择设置-OLLAMA API，按下图填写。

按使用场景设置Temperature

场景	建议值
代码生成/数学解题	0
数据抽取/分析	1.0
通用对话	1.3
翻译	1.3
创意类写作/诗歌创作	1.5

参考文章

网页版咋部署 · Issue #605 · Bin-Huang/chatbox
如何将 Chatbox 连接到远程 Ollama 服务：逐步指南 - Chatbox 帮助中心：指南与常见问题

可惜的是，chatbox并没有提供网页版，而这个PC端的做法，本质也就是包了个浏览器进去，对我这台低配GPD掌机来说，整体使用上很卡，不如直接用网页版。因此如果想要使用网页版可参考下文。

2.2 网页版-OpenWebUI

官方指路open-webui，首先安装pyenv

# 安装python
pyenv install 3.11.9
# 切换python版本 local表示当前路径指定python版本；global表示全局指定python版本
pyenv local 3.11.0
# 查看已安装和当前使用的python版本
pyenv versions
# 安装openwebui
pip install open-webui==0.15.16
# 启动
open-webui serve

使用pyenv的pip进行安装后，程序和数据均在路径C:/Users/用户名/.pyenv/pyenv-win/versions/3.11.9/site-packages/open_webui下面。

open-webui使用的是文件数据库，因为所需要重置，只需要将data文件夹全部删除即可。

项目启动后，访问http://localhost:8080，选择设置->管理员设置->外部连接