荆州网站推广怎么做新网站建设的流程

序言

在昨天的使用langchain的基础上。又尝试了构建智能问答应用。
使用langchain chatchat这个开源包，构建了一下智能问答系统。
前置项，是使用了一下xinference框架，加载了一下llm模型和embeding模型。
windows环境。

chatchat文档链接：
https://github.com/chatchat-space/Langchain-Chatchat
构建应用参考链接1:
https://blog.csdn.net/weixin_57635535/article/details/139946424
构建应用参考链接2：
https://www.bilibili.com/opus/924532169068511301
上述这两个参考链接，和windows环境稍微有出入，大差不差。
然后docker构建chatchat，linux环境会方便些。这里使用Python3.11，chatchat部分pack不兼容3.12。

xinference文档链接：
https://inference.readthedocs.io/zh-cn/latest/getting_started/using_xinference.html
兼容性报错参考链接1,“start_method”:
https://blog.csdn.net/Bit_Coders/article/details/147954824
参考链接2：
https://blog.csdn.net/jsyzliuyu/article/details/145831288
参考链接3：
https://blog.csdn.net/guoqingru0311/article/details/146443318

xinference应用构建

这个东西，就跟k8s管理容器一样，就是管理 一大堆大模型用的。
还有类似的ollama框架等。
现在大模型太火了，出现了一些重复造轮子的情况，不过，谁也不知道最终哪个轮子最好用，所以现在有些东西其实功能重复。毕竟，对于大学或者公司而言，其他人搞，自己当然也要搞。kpi! KPI!

构建过程简单概述

参考官方文档链接搞就行。
windows环境稍微有差异的地方，就是设置下环境变量。
set XINFERENCE_MODEL_SRC=modelscope
#不过这是cmd界面临时生效我看，每次启动xinference之前还得敲下。
然后执行命令xinference-local --host 127.0.0.1 --port 9997，
linux是0.0.0.0，windows是指定ip。

成效

chatchat应用

就大模型应用框架，和xinference的区别是，chatchat是特定场景应用。x是管理模型。

构建过程

没啥特别的，就是参考官网文档。
chatchat init
chatchat start -a跑起来

成效

就这个界面可以打开，可以加载xinference框架的模型。

总结

算是简单构建了下智能问答系统。

其实坑还是好多好多。
而且由于迭代快，搜到的很多东西其实是历史版本了。
总结就是，linux环境和docker结合起来会好用很多。
windows环境的适配性，对于这些框架考虑的比较少。

回头在wsl构建应用下。