东莞装饰网站建设蛟河市建设局网站

1.部署工具

这里使用的一个工具是ollama——“ollama是一个开源框架，专为在本地机器上编写部署和运行大型语言模型而设计“。使用这个工具可以较轻松完成部署需求。

2.下载ollama

ollama的logo是一个羊驼的形状，直接进入官网进行下载即可。不过ollama是直接下载安装到c盘的（安装的时候强制安装到c盘，不知道后续会不会更改）。安装到c盘存在的问题是后续如果下载了某些模型会占用磁盘较大的空间，所以后续需要进行移动操作。

3.将ollama移动到D盘 

这部分可参考文章：图解教你正确操作，Ollama轻松安装到D盘！模型文件任你放！告别C盘空间焦虑 - 知乎

不过按上述步骤操作完成后，只能在特定的位置打开终端才能识别到ollama指令。如果想在任意位置终端都能够识别ollama指令，需要在“高级系统设置”->“环境变量”->“path”添加ollama.exe的路径。

这样就可以在任意位置，在终端使用ollama指令了。 

4.deepseek的部署和运行

之后点击ollama官网的deepseek，复制指令在终端安装和运行即可。

5.可视化UI

 在终端和大模型对话到底是不舒服的，这里可以使用一些UI工具，这里使用的是chatbox。大家可以自行到官网下载。

 6. 局域网联机

如果你部署ds的电脑和想远程链接的电脑在同一局域网内（链接同一个wifi之类的），那么你可以通过将服务器在局域网内暴露的方式，使得局域网内其他电脑点解服务器的大模型服务。

对于部署了ds的电脑，需要进行如下操作：

上述步骤操作完成后，主要还需要将服务端的局域网内防火墙关闭。 

对于客户端，可以下载一个叫做：page assist的插件，edge浏览器有，其他浏览器应该也有。之后点进这个插件，进行如下操作即可：

这里提一嘴，理论上，chatbox这类UI工具也是提供了通过API远程链接服务端的方式的，但是不清楚为什么实验不成功，笔者也是试验了很久，直到发现使用这个插件是能够成功的。

然后想实现公网远程链接的话，可能需要使用内网穿透的技术，将自己的服务端电脑暴露在公网，这一块笔者还没有实验，好像是需要使用一些提供内网穿透技术的软件的，感兴趣的可以自行了解。 

7.使用RAG框架，训练自己的数据集

RAG就是知识检索增强，通过这个功能，可以实现：客户提供某些文本，让大模型能够学习特定的知识，而不是作为一个通用大模型。

这里需要使用的工具是anythingLLM，其实这个工具本质上也是一个UI工具，但是他提供了RAG功能，下载后自带embedding模型。RAG功能的核心就是使用了embedding模型。当然想接触更底层的可以使用其他的RAG框架，他们提供了自由选择embedding模型的功能。

下载anythingLLM可能需要一定的时间，毕竟比较大。

提供个人数据库：