当前位置: 首页 > news >正文

【Windows 环境安装ollama,通过ollama拉起大模型】

Windows 环境安装ollama,通过ollama拉起大模型

  • 背景:
  • 开始:
  • 1.访问ollama官方地址:https://ollama.com/
  • 2.下载
  • 3.安装ollama
  • 4.安装完成
  • 5.ollama 官网找到对应版本的大模型
  • 6.下载完成后 会自动拉起大模型,进行对话并观察任务管理器的CPU、GPU性能

背景:

公司来了一台工作站,显卡是AMD的,目前跑大模型的更多的用的都是NVIDIA显卡,而且网络上开源的很多框架、工具、模型都对NVIDIA的cuda更加适配,用户强制要求使用AMD卡拉起大模型,在很多开源社区以及AMD官网找了很多资料,逐一踩坑尝试将整体流程整理了一下,仅作为个人笔记记录。

接着上篇文章【Windows 环境安装AMD显卡加速器ROCm】继续,在Windows本地安装ollama,使用ollama下来开源的大模型并在本地运行。

开始:

1.访问ollama官方地址:https://ollama.com/

在这里插入图片描述

2.下载

在这里插入图片描述

3.安装ollama

在这里插入图片描述

4.安装完成

在这里插入图片描述

5.ollama 官网找到对应版本的大模型

在这里插入图片描述

在这里插入图片描述

cmd中运行

ollama run qwen2.5:14b

在这里插入图片描述

模型默认下载地址:C:\Users\hpi\.ollama

6.下载完成后 会自动拉起大模型,进行对话并观察任务管理器的CPU、GPU性能

相关文章:

  • 单片机 + 图像处理芯片 + TFT彩屏 指示灯控件
  • 《P2880 [USACO07JAN] 平衡系列 G》
  • 19.idea调试功能
  • 【嵌入式开发-RS-485】
  • 阀门产业发展方向报告(石油化工阀门应用技术交流大会)
  • 蓝绿发布与金丝雀发布
  • 兼具直连存储与分布式存储优势的混合存储方案
  • AI搜索的未来:技术纵深发展与关键突破路径
  • 自动机小述(三又二分之一)
  • 数组和指针典型例题合集(一维数组、字符数组、二维数组)
  • 量化策略兼容性设计
  • Linux常用命令34——uname显示系统内核信息
  • AtCoder Beginner Contest 404 A-E 题解
  • QT中多线程的实现
  • 位运算题目:安排电影院座位
  • 编专利或委托他人编专利属于学术不端行为吗?
  • crawl4ai能替代scrapy等传统爬虫框架吗?
  • 【报错】view size is not compatible with input tensor‘s size and stride
  • 编译原理头歌实验:词法分析程序设计与实现(C语言版)
  • Oracle OCP认证考试考点详解083系列12
  • 85后清华博士黄佐财任湖北咸宁市咸安区委副书记、代区长
  • 谜语的强制力:弗洛伊德与俄狄浦斯
  • 复旦设立新文科发展基金,校友曹国伟、王长田联合捐赠1亿元
  • 上市不足一年,吉利汽车拟私有化极氪并合并:整合资源,杜绝重复投入
  • 诺和诺德一季度减重版司美格鲁肽收入增83%,美国市场竞争激烈下调全年业绩预期
  • 外交部:解放军参加红场阅兵体现了中方对历史的尊重和铭记