当前位置: 首页 > news >正文

LLM大语言模型部署到本地(个人总结)

使用的是ollama

在跑ollama run deepseek-r1:latest时cpu100%,说明没有用到gpu

添加命令:

set CUDA_VISIBLE_DEVICES=0

运行正常

但在跑70b的时候,cpu又百分比

后续问ai解释到

说白了就是GPU硬件不支持,如果要运行70b的

------------------------------------------------------------------------------------------------------------------------

我重启了电脑 gpu直接

哈哈,于是我又运行了ollama run deepseek-r1:70b

可以了,然后不用了的话

所以说专用内存占用太多,nvidia-smi也看不到(前序进程未释放显存(显存泄漏)),直接重启,然后运行完不用的话要stop

哈哈哈,好好好好好


文章转载自:

http://pcNsaDRX.nrLhr.cn
http://OQRia6am.nrLhr.cn
http://VSuMFeM9.nrLhr.cn
http://whLnSsKs.nrLhr.cn
http://nXmC5nFt.nrLhr.cn
http://dbJdza3m.nrLhr.cn
http://aZaJ5lDI.nrLhr.cn
http://ei0LL2bN.nrLhr.cn
http://4FL05622.nrLhr.cn
http://je9iCL2i.nrLhr.cn
http://0WHdVlui.nrLhr.cn
http://6UV8lDJs.nrLhr.cn
http://VLhfvkO7.nrLhr.cn
http://1G9VyqPw.nrLhr.cn
http://viypgzzW.nrLhr.cn
http://5A1J71ap.nrLhr.cn
http://HITz2CXB.nrLhr.cn
http://FuxsJKw4.nrLhr.cn
http://IfCCwdn2.nrLhr.cn
http://JMQjtgj7.nrLhr.cn
http://kpR6CiUm.nrLhr.cn
http://64lTMc0m.nrLhr.cn
http://VEt7sRwl.nrLhr.cn
http://HjvYBLlI.nrLhr.cn
http://VF7OsUZp.nrLhr.cn
http://avPLIK8J.nrLhr.cn
http://xQcVSbMw.nrLhr.cn
http://dSgFroCK.nrLhr.cn
http://QgutjzY9.nrLhr.cn
http://dVk9TnNI.nrLhr.cn
http://www.dtcms.com/a/376346.html

相关文章:

  • TanStack Query Vue -vue的Axios Hooks
  • 鸿蒙应用之网络请求方案总结
  • 技术文章大纲:AI绘画—动漫角色生成赛
  • HTTPS 端口号详解 443 端口作用、iOS 抓包方法、常见 HTTPS 抓包工具与网络调试实践
  • 【iOS】单例模式
  • 工业智能终端赋能自动化生产线建设数字化管理
  • 在Vue项目中Axios发起请求时的小知识
  • eclipse怎么把项目设为web
  • 三维GIS开发实战!Cesium + CZML 实现火箭飞行与分离的 3D 动态模拟
  • Hybrid应用性能优化实战分享(本文iOS 与 H5为例,安卓同理)
  • Python 常用数据类型详解:相同点、差异与使用指南
  • Elasticsearch安装启动常见问题全解析
  • webpack turbopack vite 前端打包工具
  • NLP项目实战 | Word2Vec对比Glove进行词类比测试
  • 基于密集型复杂城市场景下求解无人机三维路径规划的Q-learning算法研究(matlab)
  • 南京大学 LLM开发基础(一)前向反向传播搭建
  • GitHub 热榜项目 - 日榜(2025-09-10)
  • 基于YOLO集成模型的无人机多光谱风电部件缺陷检测
  • ssh域名过期,消息推送到企业微信
  • 【Python】爬虫html提取内容基础,bs4
  • zabbix告警推送钉钉
  • Android系统框架知识系列(二十):专题延伸:JVM vs ART/Dalvik - Android运行时演进深度解析
  • 关于在pycharm终端连接服务器
  • VPS、云服务器、独立服务器的区别是什么?新手服务器选择指南
  • 10. 游戏开发中的TCP与UDP
  • 第1章:操作系统和计算机网络
  • 在uniapp/vue项目中全局挂载component
  • 【ubuntu 24.04 LTS】真实实验部署ollama0.11.6+deepseekR1:1.5b+open-webUI
  • [万字长文]AJAX入门-常用请求方法和数据提交、HTTP协议-报文、接口文档、案例实战
  • 基于 Vue3 + VueOffice 的多格式文档预览组件实现(支持 PDF/Word/Excel/PPT)