当前位置: 首页 > news >正文

在 Linux 系统上部署 Deepseek AI 的全面指南‌

对于所有希望亲身体验 AI 魅力的玩家来说,本文将提供一个详尽的教程,指导你在 Linux 系统上部署 Deepseek AI。无论你是技术小白还是有一定基础的用户,都能轻松跟随本文完成部署。

‌一、关于 Ollama‌

Ollama 是一款功能强大的开源应用,它允许用户在 Windows、MacOS 和 Linux 系统上,通过命令行界面在本地运行、创建和共享大型语言模型。从最初支持 Llama2,到后来扩展至包括 Mistral 和 Phi-2 在内的多种模型,Ollama 一直致力于简化大型语言模型(LLM)在本地机器上的部署和运行过程。

Ollama 通过将模型权重、配置和数据打包为 Modelfile,极大地优化了 LLM 的设置和配置流程。这使得非专业用户也能轻松管理和运行这些复杂的模型。同时,Ollama 支持多种 LLM,并提供跨平台兼容性,用户只需通过简单的命令行操作或 API 调用,即可启动和运行模型。在文本生成、翻译、问答系统、代码生成等多个领域,Ollama 都展现出了广泛的应用价值。

‌二、下载并安装 Ollama‌

要获取 Ollama,请访问其官方网站:Ollama 官网链接。进入官网后,你会看到一个线条羊驼头像,正下方就是醒目的“Download”按钮。点击该按钮,你将进入下载页面。

在下载页面上,你可以直接复制提供的安装命令,并将其粘贴到你的 Linux 终端中执行。安装完成后,终端会显示相应的日志信息。如果你没有 GPU,日志中可能会出现一个 WARNING 提示;而拥有 GPU 的机器则会显示“>>> NVIDIA GPU installed.”的字样。

为了验证安装是否成功,你可以输入ollama --version命令。如果安装正确,终端将显示所安装的 Ollama 版本号。

‌2.1 安装报错的解决方法‌

如果在安装过程中遇到错误,你可以尝试以下步骤来解决:

使用 curl 下载 Ollama 的安装脚本:
$ curl -fsSL https://ollama.com/install.sh -o ollama_install.sh

为下载的脚本文件添加可执行权限:
$ chmod +x ollama_install.sh

修改脚本中的默认下载地址,指向 Github 上的最新版本(以 v0.5.11 为例,实际使用时请查询最新版本号):
$ sed -i ‘s|https://ollama.com/download/|https://github.com/ollama/ollama/releases/download/v0.5.11/|’ ollama_install.sh

执行修改后的脚本以完成安装。

‌三、配置模型存储位置‌

Ollama 在 Linux 上的默认模型存储位置通常为/usr/share/ollama/.ollama/models。但你也可以手动指定其他路径。为此,你需要修改OLLAMA_MODELS环境变量。

首先,确保 Ollama 服务已停止:
sudo systemctl stop ollama
sudo systemctl disable ollama.service

然后,创建你希望指定的目录,并确保该目录的所属权和权限设置正确。例如,你可以创建/usr/local/ollama/models目录,并为其设置权限:
sudo chown -R root:root /usr/local/ollama/models
sudo chmod -R 775 /usr/local/ollama/models

接下来,修改 Ollama 的 systemd 服务文件,将User和Group修改为root,并在[Service]项中添加一行Environment来指定模型存储路径。例如:
Environment=“OLLAMA_MODELS=/usr/local/ollama/models”

最后,重载 systemd 配置并重启 Ollama 服务:
sudo systemctl daemon-reload
sudo systemctl start ollama.service
sudo systemctl restart ollama.service
sudo systemctl enable ollama.service

你可以通过以下命令检查 Ollama 服务是否正常运行:
sudo systemctl status ollama.service

‌四、下载 Deepseek 模型‌

Ollama 拉取和使用模型的操作与 Docker 类似。要下载 Deepseek 模型,请访问 Ollama 官方的模型库,并找到 DeepSeek-R1。根据你的硬件条件(如是否有 GPU)选择一个合适的模型大小(如 7b)。点击右侧的复制按钮,复制拉取命令。

在 Linux 终端中,将复制的命令中的run修改为pull以支持断点续传。例如:
$ ollama pull deepseek-r1:7b

等待下载完成后,你可以通过$ ollama list命令查看当前已下载的模型列表。

‌五、体验 Deepseek‌

现在,你可以通过以下命令进入命令行提问模式来体验 Deepseek AI:
$ ollama run deepseek-r1:7b

在提示符下输入你的问题,看看 Deepseek AI 会给出怎样的回答吧!

‌六、安装 Chatbox AI‌

除了 Ollama 和 Deepseek 外,你还可以尝试安装 Chatbox AI 来获得更多与 AI 对话的乐趣。请访问 Chatbox AI 的官方网站:Chatbox AI 官网链接。

在 Linux 上下载 Chatbox AI 后,你会得到一个.AppImage文件。你需要为其添加可执行权限,并尝试运行它。但请注意,由于依赖关系和系统权限等问题,你可能会遇到一些错误。例如,缺少libfuse2库文件或沙箱配置错误等。

针对这些问题,你可以尝试安装缺失的库文件(如sudo apt install libfuse2),并修改沙箱文件的权限和所有权来解决。在某些情况下,你可能还需要在运行 Chatbox AI 时添加–no-sandbox参数来绕过沙箱限制。

成功运行 Chatbox AI 后,你可以配置它使用本地模型,并开始与 AI 进行对话。你还可以尝试将网页链接丢给 Chatbox AI,看看它能否对网页内容进行简单解析。

‌七、安装 AnythingLLM‌

AnythingLLM 是一个功能强大的语言模型应用框架,它支持多种本地部署的大模型,并提供用户友好的界面。作为 Ollama 的搭配工具,AnythingLLM 可以作为本地知识库使用。

要安装 AnythingLLM,请访问其官方网站:AnythingLLM 官网链接。在网站上找到 Linux 版本的下载链接,并执行提供的安装脚本。

安装完成后,你可能会遇到与 Chatbox AI 类似的沙箱配置错误。同样地,你可以通过修改沙箱文件的权限和所有权来解决这个问题。成功启动 AnythingLLM 后,你可以填写邮箱并选择相应选项进入使用界面。在设置中,你可以选择上传本地知识库来扩展模型的能力。

‌八、总结‌

恭喜你!到现在为止,你已经成功在 Linux 系统上部署了 Deepseek AI 以及相关的配套工具。现在你可以开始享受与 AI 对话的乐趣了!无论是进行文本生成、翻译、问答还是代码生成等操作,这些工具都能为你提供强大的支持。希望本文对你有所帮助!

相关文章:

  • (* IOB = “FORCE“ *) 的使用分享
  • 鸿蒙NEXT项目实战-百得知识库04
  • 【机器学习】什么是逻辑回归
  • ES如果要查10条数据需要从各个分片上各取多少条数据?
  • 部分标签数据集生成与过滤特定标签方法
  • 旋转位置编码(Rotary Positional Encoding, RoPE):中文公式详解与代码实现
  • 论文阅读:2024-NAACL Semstamp、2024-ACL (Findings) k-SemStamp
  • 10-- 网络攻击防御原理全景解析 | 从单包攻防到DDoS军团作战(包你看一遍全记住)
  • Servlet
  • 关于波士顿动力2025年3月的人形机器人最新视频
  • 获取MSVC链接过程的详细信息
  • Python 赋值运算符大全集
  • vulhub靶机----基于docker的初探索,环境搭建
  • SpringBoot与Redisson整合,用注解方式解决分布式锁的使用问题
  • 【菜鸟飞】AI多模态:vsCode下python访问阿里云通义文生图API
  • redis MISCONF Redis is configured to save RDB snapshots报错解决
  • 【电源专题】案例:因没有关注Stand-by mode中的两种类别导致选型电池组保护芯片错误
  • 鸿蒙NEXT项目实战-百得知识库01
  • 【Zephyr】【一】学习笔记
  • Linux驱动开发实战之SRIO驱动(一)
  • 秘鲁总统任命前司法部长阿拉纳为新总理
  • 万科再获深铁集团借款,今年已累计获股东借款近120亿元
  • 呼吸医学专家杜晓华博士逝世,终年50岁
  • 日本航空自卫队一架练习机在爱知县坠毁
  • 陕西河南山西等地将现“干热风”灾害,小麦产区如何防范?
  • 在对国宝的探索中,让美育浸润小学校园与家庭