进阶日记（一）—LLMs本地部署与运行（更新中）
本项目资料主要来源：【知识科普】【纯本地化搭建】【不本地也行】DeepSeek + RAGFlow 构建个人知识库_哔哩哔哩_bilibili
目录
一、背景知识
二、Ollma安装
三、Docker安装
接上一篇（非科班大模型工程师进阶日记（〇）），这次我们来试试本地部署一个大模型。
开门见山，要想在本地部署自己的大模型，大致可以分以下几步：
- 下载Ollama，通过Ollama将DeepSeek模型下载到本地运行；
- 下载RAGflow源代码和Docker，通过Docker来本地部署RAGflow；
- 在RAGflow中构建个人知识库并实现基于个人知识库的对话问答。
But，光了解操作步骤是不够的，下面我们先从背景知识开始进行一些简单的介绍。
一、背景知识
注：不了解以下背景知识并不会对后续的安装部署产生决定性影响，但是授人以鱼不如授人以渔，大家各取所需就好。
大模型有哪些？
为什么要在本地部署大模型？
在本地部署大模型需要做哪些准备工作？
做这些准备需要哪些工具？
OK，了解完以上知识，开展下面的工作就不会云里雾里，知其然而不知其所以然了。
二、Ollma安装
Ollama是一个用于本地运行和管理大语言模型(LLM)的工具。
Ollama的安装，直接上官网Download即可，不放心的可以看这篇教程：Ollama 安装。
Ollama安装完之后，还需要进行环境变量的配置：
（必选）OLLAMA_HOST - 0.0.0.0:11434
- 作用：默认条件下，Ollma只能通过本机访问，但出于便捷性考虑，我们这次部署是通过Docker进行，配置这一环境变量就是为了让虚拟机里的RAGFlow能够访问到本机上的 Ollama；（具体原理参见：配置Ollama环境变量，实现远程访问）
- 如果配置后虚拟机无法访问，可能是你的本机防火墙拦截了端口11434；
- 不想直接暴露 11434 端口则可通过SSH 端口转发来实现虚拟机访问。
（可选）OLLAMA_MODELS - 自定义位置
- 作用：Ollama 默认会把模型下载到C盘，如果希望下载到其他盘需要进行这一配置。
更新完两个环境变量记得重启，不然无法立即生效。
配置完环境变量后，就可以从Ollama上下载模型到本地了：
这次我们以Deepseek-R1:1.5b为例，需要注意的是，模型越大对本地机器配置要求越高，一般来说deepseek 32b就能达到不错的效果，更高的不一定能跑的起来。
配置及模型选择可参考：个人用户进行LLMs本地部署前如何自查和筛选
三、Docker安装
这方面教程太多，我也不赘述了，给大家贴一个我觉得不错的文档：🎉 Docker 简介和安装 - Docker 快速入门
这一步可能会遇到的问题就是安装Docker之后打不开，这种情况一般就是WSL或者系统虚拟机出现问题，按照教程多试几遍就好了。
