ollama常见属性设置
Ollama
常见ollama 属性设置
我们在平时使用ollama过程中会遇到不少问题,比如模型镜像加载在C 盘有没有办法切换到其他盘符、启动ollama 只能127.0.0.1 不能使用IP 访问等问题。这些问题都是可以借助ollama 属性设置来解决。
OLLAMA_HOST=0.0.0.0 解决外网访问问题
OLLAMA_MODELS=E:\ollamaimagers 解决模型默认下载C 盘的问题
OLLAMA_KEEP_ALIVE=24h 设置模型加载到内存中保持24个小时(默认情况下,模型在卸载之前会在内存中保留 5 分钟)
OLLAMA_HOST=0.0.0.0:8080 解决修改默认端口11434端口
OLLAMA_NUM_PARALLEL=2 设置2个用户并发请求
OLLAMA_MAX_LOADED_MODELS=2 设置同时加载多个模型
嵌入模型
嵌入模型(Embedding Model)是一种将高维数据(如文本、图像、用户行为等)转换为低维向量表示的方法。这些向量在一个连续的向量空间中,保持了原始数据的语义或结构信息,使得相似的数据点在空间上距离较近。例如,在自然语言处理中,语义相似的词语在向量空间中的距离也很近。
果然获取维度失败是有原因的,有些模型是支持嵌入的,有些则不支持,如qwen-1.5B, deepseek-70B它就支持,查看API文档
支持嵌入的一般是比较小的模型,灵活,像稍大一点的模型就不支持嵌入了比如qwen-32B,Qwen2.5-7B-Instruct
常见报错
在使用过程中可能会遇到一些报错代码,这些报错代码表示的意思如下:
400: 请求错误,请检查请求参数是否正确。如果修改了模型设置,请重置到默认设置
401: 身份验证失败,请检查 API 密钥是否正确
403: 禁止访问,请检查是否实名认证,或联系服务商询问被禁止原因
404: 模型不存在或者请求路径错误
429: 请求过多,请稍后再试
500: 服务器错误,请稍后再试
502: 网关错误,请稍后再试
503: 服务不可用,请稍后再试
504: 网关超时,请稍后再试