外贸型网站方案建站网站知乎

ollama迁移已下载的单个模型到服务器

场景

ollama是面向用户级的，部署和运行都很简单，是否高效就另说了。但最起码，他能充分利用用户的硬件设备，在GPU不足也能调用cpu和内存去加持。

ollama运行的模型基本是量化版本的，一般是Q4_K_M，也就是说正常部署一个14b模型是需要40G左右的显存，经过这么一量化，只需要10G显存就差不多了，虽然效果欠缺了很多哈。

模型文件很大，而且要链接ollama的服务器，基本事业单位都不行。那如何把电脑下载的模型拷贝运行就很重要了，这个教程就是解决这个问题。

方案

1. 联网的电脑傻瓜式安装ollama
2. 拉取镜像，执行下面命令：

   ollama pull qwen2.5:14b
   

3. 下载完成后，执行下面命令，导出配置文件manifest：

   ollama show --modelfile qwen2.5:14b > ./Modelfile
   

4. 配置文件Modelfile生成在当前目录下, 用文本打开如下：
   
5. 按指向的位置，拷贝模型文件。
6. 把模型文件和配置文件一起拷贝到目标服务器。
7. 在目标服务器修改配置文件的模型文件路径（填写实际路径，看上面步骤截图标红框部分）。
8. 在目标机器执行以下命令进行模型文件载入。

   ollama create mymodelname -f ./Modelfile
   

9. 到这里就迁移成功了，可以ollama list查一下了。

结语

其他博客一堆直接找blobs和manifests文件夹拷贝的方法很不靠谱，会出现各种异常，尤其是windows\linux字符问题。而我们这种方式基本等于手动加载模型，还能命名模型。