当前位置: 首页 > news >正文

ollama使用gpu运行大模型

罗列ollma镜像

ollama list

拉取ollama镜像源里面的模型:

ollama pull qwen2:1.5b

下载CudaToolkit
https://developer.nvidia.com/cuda-toolkit-archive
我这里选择11.7的万金油版本,从来没出过bug
在这里插入图片描述

Ollama安装好后,为了让推理跑在GPU上,可以按照如下步骤 设置环境变量:
在“系统变量”中,点击“新建”按钮。
添加以下环境变量:
变量名:OLLAMA_GPU_LAYER
变量值:cuda
在这里插入图片描述
验证是否使用gpu
问几个比较复杂的问题然后再另外一个命令行窗口输入命令

ollama ps

窗口1
在这里插入图片描述
窗口2
在这里插入图片描述
可以看见,我们使用到了gpu,并且很神速

或者看一下任务管理器的gpu运行情况也行,如果利用率很高说明用到了gpu

http://www.dtcms.com/a/205029.html

相关文章:

  • 【Java学习方法】类变量
  • STM32单片机GUI系统1 GUI基本内容
  • 六台升降台完整的限位保护逻辑
  • java 在用redis 的时候,如何合理的处理分页问题? redis应当如何存储性能最佳
  • 【聚合MQ管理 第一章】一个项目管理多种MQ 之 ActiveMq
  • Manus与DeepSeek 的区别
  • Swagger在java的运用
  • Java基础 Day17
  • 云渲染技术解析与渲酷平台深度测评:如何实现高效3D创作?
  • OpenCV CUDA模块特征检测与描述------用于创建一个最大值盒式滤波器(Max Box Filter)函数createBoxMaxFilter()
  • Redis全攻略:解锁高性能数据存储与处理的奥秘
  • 为一套现有RAC搭建一个单实例备库,组成DG高可用架构
  • vue3+uniapp中使用高德地图实现撒点效果
  • Linux中的文件介绍
  • C++ 常见知识积累
  • Nginx 强制 HTTPS:提升网站安全性的关键一步
  • Temporary failure in name resolution
  • DVWA-XSS
  • PT5F2307触摸A/D型8-Bit MCU
  • 【Flutter】创建BMI计算器应用并添加依赖和打包
  • Flutter 中 build 方法为何写在 StatefulWidget 的 State 类中
  • 【Vue 3 步骤进度条组件实现与使用教程】
  • RESTful API设计:从原则到Gin实现
  • Rust 学习笔记:泛型
  • 从电商角度设计大模型的 Prompt
  • Baklib知识中台驱动智能服务创新
  • 牛客网NC15869:长方体边长和计算问题解析
  • 力扣热题100, 力扣.167两数之和II 力扣80.删除有序数组中的重复项力扣99.恢复二叉搜索树力扣.110平衡二叉树
  • AtCoder 第406场初级竞赛 A~E题解
  • 如何在element ui中el-select的选择项目中添加自定义图标