网站建设 镇江万达沈阳网站制作全过程

Deepseek私有化部署

本篇文章记录Deepseek私有化部署以及本地知识库的搭建流程。

1-方案

方案采用ollama+anythingllm+docker私有化部署deepseek-r1:8b。

ollama：大模型的管理和运行工具。

anythingllm：实现文档聊天，本地知识库（支持多个文本检索）的可视化应用。

docker部署anythingllm，实现Web网页访问，非anythingllm官网的桌面访问，是因为Web网页访问的文档聊天更加快速精准以及支持更多个性化设置，如果后续进行接口二次开发，就更要选择docker部署方案。

2-部署

1、前往ollama官网，下载对应系统（window/macos）的应用。

ollama官网：https://ollama.com/

2、ollama安装完成后，打开系统终端，执行下面指令，安装并运行大模型。

ollama run deepseek-r1:8b

建议40系列以上显卡或macos m1芯片性能及以上的运行8b，其余运行7b或以下。

有哪些模型选择可以参考下面ollama官网模型版本选择：
https://ollama.com/library/deepseek-r1

3、运行成功后，可以在终端进行测试。