ollama本地部署大模型(命令行)
一、下载安装ollama
ollama官方下载链接:官方网站
windows需要win10或更高版本的系统:
可保持默认安装路径安装,默认路径为:
C:\Users\Administrator\.ollama
也可以更改位置进行安装:
>OllamaSetup.exe /dir=***
ollama服务的本地默认端口是11434,开启服务发现端口已占用,因为安装之后会自动启动:
>ollama serve
Error: listen tcp 127.0.0.1:11434: bind: Only one usage of each socket address (protocol/network address/port) is normally permitted.
可使用命令查看端口占用情况,通过PID去任务管理器搜索相关的进程,确认ollama运行:
>netstat -ano|findstr 11434
二、拉取大模型镜像文件
为了避免后续下载大模型文件大量占用C盘空间,可将大模型下载路径改为其他路径,通过设置环境变量实现:
目前主流的大模型都支持:
使用命令拉取并运行相应的大模型,即可使用:
>ollama run deepseek-r1:8b
deepseek离线知识截止到2023年12月。
查看所有下载的大模型列表:
>ollama list