在 Linux 系统上部署 Deepseek AI 的全面指南
对于所有希望亲身体验 AI 魅力的玩家来说,本文将提供一个详尽的教程,指导你在 Linux 系统上部署 Deepseek AI。无论你是技术小白还是有一定基础的用户,都能轻松跟随本文完成部署。
一、关于 Ollama
Ollama 是一款功能强大的开源应用,它允许用户在 Windows、MacOS 和 Linux 系统上,通过命令行界面在本地运行、创建和共享大型语言模型。从最初支持 Llama2,到后来扩展至包括 Mistral 和 Phi-2 在内的多种模型,Ollama 一直致力于简化大型语言模型(LLM)在本地机器上的部署和运行过程。
Ollama 通过将模型权重、配置和数据打包为 Modelfile,极大地优化了 LLM 的设置和配置流程。这使得非专业用户也能轻松管理和运行这些复杂的模型。同时,Ollama 支持多种 LLM,并提供跨平台兼容性,用户只需通过简单的命令行操作或 API 调用,即可启动和运行模型。在文本生成、翻译、问答系统、代码生成等多个领域,Ollama 都展现出了广泛的应用价值。
二、下载并安装 Ollama
要获取 Ollama,请访问其官方网站:Ollama 官网链接。进入官网后,你会看到一个线条羊驼头像,正下方就是醒目的“Download”按钮。点击该按钮,你将进入下载页面。
在下载页面上,你可以直接复制提供的安装命令,并将其粘贴到你的 Linux 终端中执行。安装完成后,终端会显示相应的日志信息。如果你没有 GPU,日志中可能会出现一个 WARNING 提示;而拥有 GPU 的机器则会显示“>>> NVIDIA GPU installed.”的字样。
为了验证安装是否成功,你可以输入ollama --version命令。如果安装正确,终端将显示所安装的 Ollama 版本号。
2.1 安装报错的解决方法
如果在安装过程中遇到错误,你可以尝试以下步骤来解决:
使用 curl 下载 Ollama 的安装脚本:
$ curl -fsSL https://ollama.com/install.sh -o ollama_install.sh
为下载的脚本文件添加可执行权限:
$ chmod +x ollama_install.sh
修改脚本中的默认下载地址,指向 Github 上的最新版本(以 v0.5.11 为例,实际使用时请查询最新版本号):
$ sed -i ‘s|https://ollama.com/download/|https://github.com/ollama/ollama/releases/download/v0.5.11/|’ ollama_install.sh
执行修改后的脚本以完成安装。
三、配置模型存储位置
Ollama 在 Linux 上的默认模型存储位置通常为/usr/share/ollama/.ollama/models。但你也可以手动指定其他路径。为此,你需要修改OLLAMA_MODELS环境变量。
首先,确保 Ollama 服务已停止:
sudo systemctl stop ollama
sudo systemctl disable ollama.service
然后,创建你希望指定的目录,并确保该目录的所属权和权限设置正确。例如,你可以创建/usr/local/ollama/models目录,并为其设置权限:
sudo chown -R root:root /usr/local/ollama/models
sudo chmod -R 775 /usr/local/ollama/models
接下来,修改 Ollama 的 systemd 服务文件,将User和Group修改为root,并在[Service]项中添加一行Environment来指定模型存储路径。例如:
Environment=“OLLAMA_MODELS=/usr/local/ollama/models”
最后,重载 systemd 配置并重启 Ollama 服务:
sudo systemctl daemon-reload
sudo systemctl start ollama.service
sudo systemctl restart ollama.service
sudo systemctl enable ollama.service
你可以通过以下命令检查 Ollama 服务是否正常运行:
sudo systemctl status ollama.service
四、下载 Deepseek 模型
Ollama 拉取和使用模型的操作与 Docker 类似。要下载 Deepseek 模型,请访问 Ollama 官方的模型库,并找到 DeepSeek-R1。根据你的硬件条件(如是否有 GPU)选择一个合适的模型大小(如 7b)。点击右侧的复制按钮,复制拉取命令。
在 Linux 终端中,将复制的命令中的run修改为pull以支持断点续传。例如:
$ ollama pull deepseek-r1:7b
等待下载完成后,你可以通过$ ollama list命令查看当前已下载的模型列表。
五、体验 Deepseek
现在,你可以通过以下命令进入命令行提问模式来体验 Deepseek AI:
$ ollama run deepseek-r1:7b
在提示符下输入你的问题,看看 Deepseek AI 会给出怎样的回答吧!
六、安装 Chatbox AI
除了 Ollama 和 Deepseek 外,你还可以尝试安装 Chatbox AI 来获得更多与 AI 对话的乐趣。请访问 Chatbox AI 的官方网站:Chatbox AI 官网链接。
在 Linux 上下载 Chatbox AI 后,你会得到一个.AppImage文件。你需要为其添加可执行权限,并尝试运行它。但请注意,由于依赖关系和系统权限等问题,你可能会遇到一些错误。例如,缺少libfuse2库文件或沙箱配置错误等。
针对这些问题,你可以尝试安装缺失的库文件(如sudo apt install libfuse2),并修改沙箱文件的权限和所有权来解决。在某些情况下,你可能还需要在运行 Chatbox AI 时添加–no-sandbox参数来绕过沙箱限制。
成功运行 Chatbox AI 后,你可以配置它使用本地模型,并开始与 AI 进行对话。你还可以尝试将网页链接丢给 Chatbox AI,看看它能否对网页内容进行简单解析。
七、安装 AnythingLLM
AnythingLLM 是一个功能强大的语言模型应用框架,它支持多种本地部署的大模型,并提供用户友好的界面。作为 Ollama 的搭配工具,AnythingLLM 可以作为本地知识库使用。
要安装 AnythingLLM,请访问其官方网站:AnythingLLM 官网链接。在网站上找到 Linux 版本的下载链接,并执行提供的安装脚本。
安装完成后,你可能会遇到与 Chatbox AI 类似的沙箱配置错误。同样地,你可以通过修改沙箱文件的权限和所有权来解决这个问题。成功启动 AnythingLLM 后,你可以填写邮箱并选择相应选项进入使用界面。在设置中,你可以选择上传本地知识库来扩展模型的能力。
八、总结
恭喜你!到现在为止,你已经成功在 Linux 系统上部署了 Deepseek AI 以及相关的配套工具。现在你可以开始享受与 AI 对话的乐趣了!无论是进行文本生成、翻译、问答还是代码生成等操作,这些工具都能为你提供强大的支持。希望本文对你有所帮助!