Ollama部署离线大模型
注:本篇文章介绍如何高速下载大模型、大模型如何更改存储位置。
目录
- 1.Ollama安装
- 2.自定义模型安装位置
- 2.1 Windows系统
- 2.2 Mac系统
- 3.AingDesk安装
- 4.大模型安装
- 5.测试与验证
- 5.1 本地测试
- 5.2 外网访问
- 6.参考资料
1.Ollama安装
Ollama下载
官网下载
根据自己的电脑系统安装Windows/Mac的Arduino IDE软件。
2.自定义模型安装位置
2.1 Windows系统
1.右键点击【此电脑】->【属性】->【高级系统设置】->【环境变量】
2.新建系统变量:
变量名:OLLAMA_MODELS
变量值:D:\models(以实际电脑磁盘为准)
ollama参数
启动服务:ollama serve
停止:ollama stop
查看安装的模型: ollama list
2.2 Mac系统
迁移文件:
将.ollama目录移动到其他磁盘,磁盘名称xxxx,目录ollama_data。
mv ~/.ollama /Volumes/xxxx/ollama_data
创建软链接:
ln -s /Volumes/xxxx/ollama_data ~/.ollama
启动服务:
ollama serve
3.AingDesk安装
AingDesk
官网下载
根据自己的电脑系统选择Windows、Mac、Linux等。
4.大模型安装
使用AingDesk安装大模型时,需要Ollama启动状态。
根据自己的电脑配置,选择所需的模型。
5.测试与验证
5.1 本地测试
以DeepSeek-r1:14b为例
5.2 外网访问
点击分享按钮,分享模型。
6.参考资料
[1]AingDesk 文档
[2]Ollama Models