当前位置: 首页 > news >正文

windows环境下安装部署dify+本地知识库+线上模型

Dify 一词源自 Define + Modify,意指定义并且持续的改进你的 AI 应用,它是为你而做的(Do it for you)。

先上效果图:

图片

登录页面

图片

聊天配置页面

图片

发布出来的聊天页面

图片

知识库召回测试

图片

模型供应商

图片

dify运行日志

图片

chroma运行日志

参考资料:

1、官方文档:https://docs.dify.ai/zh-hans

2、Docker Desktop国内下载地址:https://mirrors.aliyun.com/docker-toolbox/windows/docker-for-windows/stable/

安装步骤:

1、下载Docker Desktop,并安装,安装完成后,打开软件并修改配置文件,改为从国内源下载docker镜像。

  "builder": {    "gc": {      "defaultKeepStorage": "20GB",      "enabled": true    }  },  "experimental": false,  "registry-mirrors": [    "https://hub-mirror.c.163.com",    "https://docker.m.daocloud.io",    "https://docker.imgdb.de",    "https://docker-0.unsee.tech",    "https://docker.hlmirror.com",    "https://docker.1ms.run",    "https://func.ink",    "https://lispy.org",    "https://docker.xiaogenban1993.com"  ]}

图片

2、打开https://github.com/langgenius/dify,下载dify源码

图片

3、下载后解压压缩包,并进入docker目录,从.env.example复制一份为.env

图片

4、打开cmd并进入上述docker目录,执行:docker compose up,首次执行该命令会自动下载dify所需的镜像,由于咱们已经通过第1步将镜像源设置为国内源了,速度很快。下载完成后会自动启动服务。启动完成之后,直接在浏览器中打开:http://localhost/ 就看到登录页面了。

5、后续启动服务,还是打开cmd并进入上述docker目录,执行:docker compose up 即可。

我帮大家踩的几个坑:

1、报错:OpenBLAS blas_thread_init: pthread_create failed for thread 7 of 8: Operation not permitted。这是docker容器启动权限不够所致

解决方法:打开docker目录中docker-compose.yaml文件,搜索:image: langgenius,在其下一行添加privileged: true,注意:可以搜索出来多个地方,直接全部修改。

图片

2、知识库中的高质量索引模式总是失败

图片

解决方法:

1、配置矢量库为chroma,首先安装chroma,非常简单:直接执行:

pip install chromadb,需要有python3的环境

2、启动chromadb,在cmd中执行:

set CHROMA_SERVER_AUTHN_CREDENTIALS=chr0ma-t0k3nset CHROMA_SERVER_AUTHN_PROVIDER=chromadb.auth.token_authn.TokenAuthenticationServerProviderchroma run --path C:\db_path --host 192.168.2.107 --port 8000

3、修改docker目录下的.env文件,使dify知道chroma的存在

搜索VECTOR_STORE,其值改为:chroma

图片

找到chroma配置的地方,修改为chroma的具体信息

图片

注意:CHROMA_AUTH_CREDENTIALS的值和第2步中CHROMA_SERVER_AUTHN_CREDENTIALS的值必须一致。

4、重启dify即可。

我认为dify比较好用的地方:

1、支持完全私有化部署,社区版开源,Apache 2.0的开源许可

2、内置了很多工具:时间、网页抓取、图表生成、语音文字互转、对接企业微信等等,还可以自定义工具

图片

3、知识库中可配置Rerank模型(重排序模型将根据候选文档列表与用户问题语义匹配度进行重新排序,从而改进语义排序的结果)

4、可以在agent中添加多个工具

图片

5、可对模型参数定制化调整,还可以限制模型回答结果的格式

图片

6、几乎支持所有厂商的大模型

图片

7、支持多种知识库来源

图片

8、更多好用功能等待我们一起去探索

图片

相关文章:

  • linux安装reids
  • 探索在直播中的面部吸引力预测新的基准和多模态方法
  • Git基础之分支
  • 观看文艺汇演问题
  • YC 孵化项目 Pinch:实时语音翻译视频会议平台;Mistral OCR:能处理多语言多模态复杂文档丨日报
  • 【Linux】详谈 基础I/O
  • linux学习(十)(磁盘和文件系统(索引节点,文件系统,添加磁盘,交换,LVM公司,挂载))
  • c语言笔记 函数参数的等价(上)
  • redis数据迁移教程(使用RedisShake实现不停机迁移十分便捷)
  • liunx学习(四)(文本处理(stdout stderr,Cut,paste,sort,tr,head,Tail,join,Split,grep,...))
  • OSI模型
  • 使用 QML 和 QtSql 实现 SQLite 数据库操作
  • FPGA基础 -- Verilog常用关键字
  • langChainv0.3学习笔记(初级篇)
  • mysql创建数据库和表
  • 【网络安全工程】任务11:路由器配置与静态路由配置
  • 锐势信息的面试
  • systemtap学习笔记
  • Zama TFHE-rs v1.0 发布
  • 系统部署【信创名录】及其查询地址
  • 我国7名优秀护理工作者荣获第50届南丁格尔奖
  • 西藏日喀则市拉孜县发生5.5级地震,震源深度10公里
  • 春秋航空:如果供应链持续改善、油价回落到合理水平,公司补充运力的需求将会增长
  • 国博馆刊|北朝至唐初夏州酋豪李氏家族的发展与身份记忆
  • 上海交大:关注到对教师邵某的网络举报,已成立专班开展调查
  • 奥园集团将召开债券持有人会议,拟调整“H20奥园2”本息兑付方案