当前位置: 首页 > news >正文

deepseek+ollama+anythingllm在本地搭建个人知识库

文章目录

  • 安装 ollama
  • 拉取deepseek-r1 模型
  • 安装anythingllm

目前最大的信息差就是 deepseek,所以我在本地也部署了 deepseek,这里给大家普及一下,非常简单易懂。

安装 ollama

Ollama 是一个本地运行大语言模型(LLM)的工具,支持 DeepSeek、Llama、Mistral 等开源 AI 模型,允许用户
在本地推理和交互。
能够提供高效的模型管理、轻量级 API,并支持CPU 和 GPU 加速。相比云端 API,Ollama 更安全、可离线运行,
适用于本地开发、私有数据处理和 AI 应用开发。
下载地址:https://ollama.com/download/mac

我本机是 macOS,如果你是 Windows,下载 Windows 版本就可以了。
下载完成后,macOS 是不需要安装的,双击就可以解压,把 App 拖到应用程序当中就可以了。

双击就完成了 ollama 的运行,注意没有任何界面。在浏览器输入 http://localhost:11434/,查看运行状态。
在这里插入图片描述

拉取deepseek-r1 模型

DeepSeek-R1 是 DeepSeek 团队推出的一款开源、支持 128K ⻓文本上下文的 Transformer 大语言模型,在代码
生成、数学推理等任务上表现出色。

ollama 支持 deepseek 的全尺寸版本,比如说 1.5b、7b、8b、14b 等,本地建议安装 7b 版本,体积大小最合适。
在这里插入图片描述
然后在控制台输入 ollama run deepseek-r1:7b 运行,下载速度取决于网速,所以这一步需要花时间耐心等一下。
在这里插入图片描述
等 deepseek 拉取完成后,就可以在控制台进行交互了,直接输入文本进行提问就可以了。

安装anythingllm

AnythingLLM 是一个开源的本地 LLM(大语言模型)管理和知识库平台,可以让用户轻松将文档、网⻚、数据库
等数据接入到本地或远程大模型(如 Ollama、GPT、DeepSeek 等),实现自定义的 AI 助手。
它支持多数据源整合、私有化部署,并提供 Web 界面 和 API,适用于企业知识管理、自动化客服、AI 辅助研究等
场景。
直接通过 https://anythingllm.com/desktop 就可以下载桌面版本。
双击运行安装就可以了,打开后的界面如下所示。
在这里插入图片描述
如果你是第一次运行,需要在启动过程中选择 ollama。也就是我们前面搭建好的 deepseek-r1,在设置界面这里也可以配置。
在这里插入图片描述
如果想投喂知识库,直接在工作区这里点击【上传】小图标,在弹出的窗口中选择需要上传的文件.
在这里插入图片描述
我这里已经上传过了,你还可以通过网⻚的形式,或者 GitHub 仓库的形式给 deepseek 投喂数据。

完事后,我们就可以在聊天窗口里进行提问了,比如我问“对象创建的过程了解吗?”
在这里插入图片描述

就可以通过 deepseek 进行推理回答了。可以看到推理过程,以及结果。点开底部的 show citations 还可以看到我们刚刚投喂的PDF。

我们还可以在设置这里配置查询还是聊天模式,查询模式的话,就是主要基于知识库给出结果,聊天的话,如果你
问的数据在知识库中是没有的,大模型可能会胡编乱造一些给你,这里一定要注意。

到此为止,在本地搭建属于你自己的知识库,就算是完成了。学习的效率就能翻倍了。

相关文章:

  • ollama server启动服务后如何停止
  • HTML之JavaScript DOM(document)编程处理事件
  • Java编程语言:从基础到高级应用的全面探索
  • 火语言RPA--Excel打开文档
  • OpenHarmony 系统性能优化——默认关闭全局动画
  • DIEN:深度兴趣演化网络
  • AI领域技术架构
  • flutter 状态栏不显示 问题解决办法
  • Redux中间件redux-thunk和redux-saga的具体区别是什么?
  • spring cloud和dubbo的特点和优劣势
  • 【Linux】【网络】Reactor模式
  • tailwindcss学习01
  • JavaScript中数组的常用方法
  • 【从0做项目】Java搜索引擎(6) 正则表达式鲨疯了优化正文解析
  • 深入剖析Spring MVC
  • CMake技术细节:解决未定义,提供参数
  • 从零到一实现微信小程序计划时钟:完整教程
  • 【ClickHouse 特性及应用场景】
  • ubuntu 执行 sudo apt-get update 报错
  • redis7 for windows的安装教程
  • 网站兼容设置/手机卡顿优化软件
  • 想接外包做网站/微信推广软件
  • 东阿网站建设产品/电商软文范例100字
  • 博远手机销售管理系统app/seo怎么搞
  • 国外广告联盟的真实收入/aso优化服务平台
  • wordpress 添加点赞/如何做网站推广优化