南昌师范学院网站建设的意义和目的广东商城网站建设

个人主页：chian-ocean

前言：

随着人工智能技术的迅速发展，大语言模型在各个行业中得到了广泛应用。DeepSeek 作为一个新兴的 AI 公司，凭借其高效的 AI 模型和开源的优势，吸引了越来越多的开发者和企业关注。为了更好地满足用户的需求，尤其是在数据隐私和计算资源方面，越来越多的组织开始考虑将 DeepSeek 的 AI 模型进行 本地部署。

Ollama安装（安装在D盘）

官网下载：Ollama

• 点进去官网

• 系统的选择（这里面以windows为例子）

更改路径

• 下载之后如果点击直接安装(install)默认会安装在C盘.

• 在这里面打开终端窗口执行（这个是更改路径）

OllamaSetup.exe /DIR=D:\Ollama

解释：

• OllamaSetup.exe: 这是一个安装程序的执行文件，通常用于安装 Ollama 软件。
• /DIR=D:\Ollama: 这是命令行参数，告诉安装程序将 Ollama 安装到 D 盘的 Ollama 文件夹中。如果指定的目录不存在，安装程序通常会创建该文件夹。

安装程序的执行文件(OllamaSetup.exe) /DIR=path(path是一个路径)

• 这里面在安装的时候我们发现正在安装在D盘

更改模型安装路径

• 在不更改默认路径下，模型安装默认也是C盘
• 小默认都在5G，大模型几十G。

修改Windows系统环境变量

• 进入Windows系统的环境变量。

• 添加环境变量

变量名： OLLAMA_MODELS
变量值： D:\OllamaImagers(安装智能体的路径)

• 将第一个文件剪切到自己想要安装的目录下

刷新环境变量

• 重启（简单粗暴）

• 手动刷新环境变量（无重启）

  1. 打开 任务管理器 (Ctrl + Shift + Esc)。

  2. 在任务管理器中，找到 Windows 资源管理器（Explorer.exe），右键点击并选择 重新启动。

  3. 这样会刷新 Windows 资源管理器的环境变量，使得新设置的环境变量生效。

模型下载和卸载

• 按步骤操作

模型比较

模型版本	参数数量	文件大小	适用场景	优点	缺点
1.5B	1.5B	1.1GB	资源有限的环境	文件较小，易于下载和部署	性能较低，适用于较简单的任务
7B	7B	4.7GB	需要较高性能的任务	平衡了性能和文件大小，适用范围广泛	相比小模型，仍需要较强的硬件支持
8B	8B	4.9GB	中等性能需求的任务	性能好，适合大部分NLP任务	文件大小较大，部署时需要较大存储空间
14B	14B	9.0GB	高性能应用，复杂任务	适用于复杂推理和大规模任务	需要较强的计算资源和存储支持
32B	32B	20GB	大规模高负载任务	高度优化，能够处理复杂任务	对硬件要求极高，计算资源消耗大
70B	70B	43GB	超高性能任务，科研应用	极高的计算能力和性能，适用于尖端研究	对硬件和存储要求非常苛刻，下载和运行困难
671B	671B	404GB	超大规模高复杂度任务	性能最强，适用于最复杂的应用和任务	极高的硬件需求，几乎只适用于大型数据中心

本地部署 DeepSeek 模型选择简要总结

1. 小型模型 (1.5B, 7B)
   • 适用场景：硬件资源有限、简单任务（如基础对话、文本分类）。
   • 优点：文件小、资源占用少，易于部署。
   • 缺点：性能较低，无法处理复杂任务。
2. 中型模型 (8B, 14B)
   • 适用场景：中等性能需求，适用于中型任务（如情感分析、机器翻译）。
   • 优点：较强性能，适应广泛应用。
   • 缺点：需要中等硬件支持，文件和存储要求增加。
3. 大型模型 (32B, 70B)
   • 适用场景：高性能需求，复杂任务（如大规模推理、科研）。
   • 优点：性能强，适合复杂应用。
   • 缺点：对硬件要求极高，需要高端 GPU 和大存储空间。
4. 超大型模型 (671B)
   • 适用场景：超大规模、科研级任务。
   • 优点：最强性能，适合最复杂的任务。
   • 缺点：资源消耗巨大，几乎只能在大型数据中心部署。

模型下载

• 复制路径

ollama run deepseek-r1:8b

• 打开 终端（win + r）输入 cmd

复制到终端回车（Enter）

• 如果下载速度慢，Ctrl + C，终止进程再次进行安装。

安装成功

安装成功：success

模型卸载

终端输入：ollama rm 模型名称

ollama rm deepseek-r1:8b

模型应用

查看手册

ollama  #就是查看手册

查看模型

ollama list #查看模型

运行deepseek

ollama run deepseek-r1:8b #后面是模型名称

构建可视化工具

下载：Chatbox AI

• 根据自己的系统选择版本。

设置API接口

• 这里面选择自己的API接口或本地模型。

• 这里面的API域名是正确的。

• 选择模型（deepseek-r1:b8）

• 构建可视化工具完成。