当前位置: 首页 > news >正文

ollama本地部署大模型(命令行)

一、下载安装ollama

ollama官方下载链接:官方网站
官网
windows需要win10或更高版本的系统:
支持的系统平台
可保持默认安装路径安装,默认路径为:

C:\Users\Administrator\.ollama

也可以更改位置进行安装:

>OllamaSetup.exe /dir=***

ollama服务的本地默认端口是11434,开启服务发现端口已占用,因为安装之后会自动启动:

>ollama serve
Error: listen tcp 127.0.0.1:11434: bind: Only one usage of each socket address (protocol/network address/port) is normally permitted.

可使用命令查看端口占用情况,通过PID去任务管理器搜索相关的进程,确认ollama运行:

>netstat -ano|findstr 11434

二、拉取大模型镜像文件

为了避免后续下载大模型文件大量占用C盘空间,可将大模型下载路径改为其他路径,通过设置环境变量实现:
在这里插入图片描述
目前主流的大模型都支持:
主流的大模型
使用命令拉取并运行相应的大模型,即可使用:
在这里插入图片描述

>ollama run deepseek-r1:8b

在这里插入图片描述
deepseek离线知识截止到2023年12月。
查看所有下载的大模型列表:

>ollama list
http://www.dtcms.com/a/108010.html

相关文章:

  • Eclipse IDE
  • 基本元素定位(findElement方法)
  • 【嵌入式Linux】U-Boot源码分析
  • JMeter接口自动化发包与示例
  • Windows连接服务器Ubuntu_MobaXterm
  • 【Mysql】基础(函数,约束,多表查询,事务)
  • PHP语言基础
  • 深入解析C++类:面向对象编程的核心基石
  • 前端css+html面试题
  • 面向对象分析与设计的多过程多层级实现
  • Generic Mapping Tools(GMT):开源的地球、海洋和行星科学的工具箱、Python与matlab包
  • 从零构建大语言模型全栈开发指南:第四部分:工程实践与部署-4.3.2知识库增强与外部API集成(代码示例:HTTP节点与检索增强生成)
  • uniapp 微信小程序 使用ucharts
  • 实战打靶集锦-36-Deception
  • 封装可拖动弹窗(vue jquery引入到html的版本)
  • SQL语句(一)—— DDL
  • [Lc6_记忆化搜索] 最长递增子序列 | 矩阵中的最长递增路径
  • 【大模型系列篇】大模型基建工程:使用 FastAPI 构建 SSE MCP 服务器
  • 14-SpringBoot3入门-MyBatis-Plus之CRUD
  • 树莓派超全系列文档--(15)无需交互使用raspi-config工具其二
  • clickhouse集群版本部署文档
  • jenkins 参数化发布到服务器 publish over ssh、label、Parameterized publishing
  • 基于DeepSeek、ChatGPT支持下的地质灾害风险评估、易发性分析、信息化建库及灾后重建
  • js实现一个可指定超时时间的异步函数重试机制
  • tomcat 目录结构组成
  • python的def
  • 计算机网络 第二章:应用层(1)
  • 结构体补充:位段
  • 我该怎么设置SVN客户端的认证信息?
  • C++ I/O 流通俗指南