当前位置: 首页 > news >正文

ollama快速部署使用(windows版)

1、下载&安装

官网:Ollama,选择对于的操作系统,我这里使用windows进行操作。这里下载可能需要安全上网,下载好后直接安装即可使用。

2、验证安装

打开命令提示符或 PowerShell,输入以下命令验证安装是否成功:

ollama --version

3、修改ollama模型的存储位置

我的ollama安装位置:D:\ollama

模型默认下载位置:C:\Users\xxx\.ollama

首先在ollama安装的文件夹中创建一个ollamamodels文件夹,这个ollamamodels文件夹你也可以放在别的地方。

打开环境变量

在系统变量找到Path,点进去

将D:\ollama添加进去,点击确定。

然后在系统环境变量中点击新建

变量名为:OLLAMA_MODELS,地址为你上面创建存放模型的文件夹。这样下载的模型就会放在指定的文件夹中,不会占用c盘的空间。

4、ollama运行模型

ollama支持的模型:library

ollama服务启动:

ollama serve

ollama下载模型,这里以deepseek-r1:1.5b 为例:

ollama run deepseek-r1:1.5b 

我这里已经下载好了,可以看到直接进入对话界面了

查看显存占了大概三个G

ollama操作比较简单,其他操作如下:

(base) PS C:\Users\windows> ollama -h
Large language model runnerUsage:ollama [flags]ollama [command]Available Commands:serve       Start ollamacreate      Create a model from a Modelfileshow        Show information for a modelrun         Run a modelstop        Stop a running modelpull        Pull a model from a registrypush        Push a model to a registrylist        List modelsps          List running modelscp          Copy a modelrm          Remove a modelhelp        Help about any commandFlags:-h, --help      help for ollama-v, --version   Show version informationUse "ollama [command] --help" for more information about a command.

5、通过api调用ollama正在运行的模型

(1)通过requests来访问generate方法。

# pip install requests
import requests
import jsonOLLAMA_URL = "http://localhost:11434/api/generate"   # Ollama 默认地址
MODEL      = "deepseek-r1:1.5b"prompt = "用一句话介绍你自己"payload = {"model": MODEL,"prompt": prompt,"stream": False           # 关闭流式,直接一次性返回
}resp = requests.post(OLLAMA_URL, json=payload, timeout=120)
print(resp.json()["response"])

(2)通过requests来访问chat方法:

import requests, jsonOLLAMA_CHAT = "http://localhost:11434/api/chat"
MODEL = "deepseek-r1:1.5b"messages = [{"role": "user", "content": "1+1=?"},{"role": "assistant", "content": "2"},{"role": "user", "content": "再加 3 呢?"}
]payload = {"model": MODEL,"messages": messages,"stream": False
}resp = requests.post(OLLAMA_CHAT, json=payload)
print(resp.json()["message"]["content"])

(3)通过langchain来访问

需要安装的依赖

pip install langchain langchain_community
from langchain_community.llms import Ollamallm = Ollama(model="deepseek-r1:1.5b", base_url="http://localhost:11434")
print(llm.invoke("用一句话介绍你自己"))

6、总结

ollama比较适合新手部署小一点的模型,操作简便,如果部署大一点的模型可以尝试使用:欢迎来到 Xinference! — Xinference、vLLM - vLLM 文档,有问题可以评论区交流哈!!!

http://www.dtcms.com/a/282636.html

相关文章:

  • Linux三剑客grep、sed、awk
  • 海盗王如何拍摄和打包小地图
  • 在javaScript里删除节点以及添加节点
  • livecharts 装版本8
  • 预训练模型:大规模数据预学习范式——定义、原理与演进逻辑
  • CSS隐藏元素:display:none vs visibility:hidden
  • S7-200 SMART PLC:模拟量模块接线全解析
  • 新手向:自动化图片格式转换工具
  • PyCharm高效入门指南大纲
  • 如何在 Linux 上下载和安装 Conda/Miniconda
  • 基于 Docker 环境的 JupyterHub 详细部署手册
  • VR 污水厂初体验:颠覆传统认知​
  • 广州 VR 森林防火系统功能探究​
  • Harmony-Next鸿蒙实战开发项目-仿小米商城App----V2
  • DOM 规范中的 MutationObserver 接口
  • 【LeetCode 热题 100】543. 二叉树的直径——DFS
  • STM32 写选项字 关键要加载HAL_FLASH_OB_Launch
  • 红黑树、B树、B+树
  • 轻松将文件从 iPhone 传输到 Mac
  • 中医文化学习软件,传承国粹精华
  • Redis Key 设计原则
  • Excel转PDF的三种方法
  • 基于大数据的网络文学推荐分析系统的设计与实现【海量书籍、自动爬虫】
  • 《通信原理》学习笔记——第二章
  • AI进化论15:通用人工智能(AGI)的“终极梦想”与“潘多拉魔盒”
  • AI炒作,AGI或在2080年之前也无法实现,通用人工智能AGI面临幻灭
  • 基于 .Net Core+MySQL开发(WinForm)翻译平台
  • rLLM:用于LLM Agent RL后训练的创新框架
  • 前端面试题(React 与 Vue)
  • #Datawhale组队学习#7月-强化学习Task1