网站建设疑问网站seo优化皆宣徐州百都网络不错

『大模型笔记』怎样让Ollama启动的大模型常驻内存(显存)？

一. 怎样让Ollama启动的大模型常驻内存(显存)？

• ollama有keep_alive参数用来控制模型在内存中保留的时间。

keep_alive 参数可以设置为：

• 一个持续时间字符串（例如 “10m” 或 “24h”）
• 一个以秒为单位的数字（例如 3600）
• 任何负数，这将使模型无限期地保留在内存中（例如 -1 或 “-1m”）
• ‘0’ 这将使模型在生成响应后立即卸载

<