使用spring-ai时遇到的一些问题
文章目录
- 问题一:分词器tokenizer.json下载
- 问题二:model.onnx嵌入式模型下载
- 依赖库的下载及指定存放位置
当项目pom.xml中使用了一下依赖库时:
<dependency><groupId>org.springframework.ai</groupId><artifactId>spring-ai-starter-model-transformers</artifactId>
</dependency>
会出现以下几点问题:
问题一:分词器tokenizer.json下载
源码里内嵌的地址 https://raw.githubusercontent.com/spring-projects/spring-ai/main/models/spring-ai-transformers/src/main/resources/onnx/all-MiniLM-L6-v2/tokenizer.json,需要富强上网才行,可使用这个地址代替:https://hf-mirror.com/sentence-transformers/all-MiniLM-L6-v2/tree/main/tokenizer.json。
问题二:model.onnx嵌入式模型下载
源码里是访问的github下载的,但是通过代码去请求下载会出现超时下载失败的问题。可通过浏览器直接下载:
https://github.com/spring-projects/spring-ai/raw/main/models/spring-ai-transformers/src/main/resources/onnx/all-MiniLM-L6-v2/model.onnx
替代的方案还有:https://hf-mirror.com/sentence-transformers/all-MiniLM-L6-v2/tree/main/onnx/model.onnx
项目里的yml配置如下:
以上问题对应的源码在这个源码文件里:
依赖库的下载及指定存放位置
此外在启动项目时:在本地运行分词器和嵌入式模型,还需要额外的库(Deep Java Library):这些文件在启动项目时出现下载超时的问题,而且下载的内容也会自动放到C盘下。也可以提前通过浏览器提前下载好。然后配置一下系统环境变量,启动项目时,会直接去系统环境变量指定的路径下去加载,而不会再去远程下载。
Deep Java Library 的缓存 目录的系统环境变量设置: