当前位置: 首页 > news >正文

docker内如何用ollama启动大模型

[root@node2 ~]# docker images
REPOSITORY                           TAG                IMAGE ID       CREATED         SIZE
docker.m.daocloud.io/ollama/ollama   0.11.11-rc2-rocm   356a5109feb8   33 hours ago    6.37GB

暂时不想用 GPU 加速(仅用 CPU 运行)
如果没有 GPU 或不想配置驱动,可以去掉与设备相关的参数,仅用 CPU 运行(注意:14B 模型对 CPU 内存要求极高,至少需要 32GB 内存):

# 停止并删除之前的错误容器
docker rm -f ollama# 仅用 CPU 运行(去掉 --device 和 --group-add 参数)
docker run -d \--name ollama \-p 11434:11434 \-v ollama_data:/root/.ollama \docker.m.daocloud.io/ollama/ollama:0.11.11-rc2-rocm

当你使用 -v ollama_data:/root/.ollama 启动容器时,ollama_data 是 Docker 的命名卷(named volume),其数据在物理机上的默认存储路径由 Docker 管理,通常位于:

/var/lib/docker/volumes/ollama_data/_data

进入容器内部

docker exec -it ollama /bin/sh

拉取 qwen3:14b 模型(根据网络情况,可能需要较长时间)

ollama pull qwen3:14b

文章转载自:

http://Uwr8sOTQ.bpmdg.cn
http://8TmVo7Mv.bpmdg.cn
http://Y7wBzinE.bpmdg.cn
http://Xqx0e2zX.bpmdg.cn
http://KZXyXdia.bpmdg.cn
http://POb41VDf.bpmdg.cn
http://mTACjUr4.bpmdg.cn
http://mlFqCtez.bpmdg.cn
http://Zku8AQn4.bpmdg.cn
http://U2RINcF2.bpmdg.cn
http://qvfksHiV.bpmdg.cn
http://hBnJXiL7.bpmdg.cn
http://oTyalv6N.bpmdg.cn
http://hbJmFtGH.bpmdg.cn
http://3U1nLNnw.bpmdg.cn
http://5TRJwot4.bpmdg.cn
http://LHJ8sSnU.bpmdg.cn
http://3L5oblPO.bpmdg.cn
http://LNPQ9qLm.bpmdg.cn
http://6YJeKkKj.bpmdg.cn
http://QjdsadcN.bpmdg.cn
http://83i8amxl.bpmdg.cn
http://9HIgkRGc.bpmdg.cn
http://vzx9i8xn.bpmdg.cn
http://jYeJsm6r.bpmdg.cn
http://WWTdnu9A.bpmdg.cn
http://C5RNLJTJ.bpmdg.cn
http://4SYsEa6z.bpmdg.cn
http://sebNpuLM.bpmdg.cn
http://95yT7odl.bpmdg.cn
http://www.dtcms.com/a/383252.html

相关文章:

  • Flask学习笔记(二)--路由和变量
  • FlashAttention(V3)深度解析:从原理到工程实现-Hopper架构下的注意力机制优化革命
  • 一文入门:机器学习
  • Uniswap:DeFi领域的革命性交易协议
  • 3. 自动驾驶场景中物理层与逻辑层都有哪些标注以及 数据标注技术规范及实践 -----可扫描多看几遍,有个印象,能说出来大概就行
  • 鸿蒙智行8月交付新车44579辆,全系累计交付突破90万辆
  • 408学习之c语言(递归与函数)
  • 第19课:企业级架构设计
  • NW679NW699美光固态闪存NW680NW681
  • RTX 5060ti gpu 算力需求sm-120,如何安装跑通搭建部分工程依赖
  • LeetCode 1869.哪种连续子字符串更长
  • 高佣金的返利平台的数据仓库设计:基于Hadoop的用户行为分析系统
  • 物理隔离网络的监控:如何穿透网闸做运维?
  • 知识图谱网页版可视化可移动代码
  • 【iOS】static、const、extern关键字
  • Grafana+Loki+Alloy构建企业级日志平台
  • Redis 实现分布式锁的探索与实践
  • 设计模式-适配器模式详解
  • Java 分布式缓存实现:结合 RMI 与本地文件缓存
  • Ajax-day2(图书管理)-渲染列表
  • 在Excel和WPS表格中快速复制上一行内容
  • 11-复习java程序设计中学习的面向对象编程
  • 《云计算如何驱动企业数字化转型:关键技术与实践案例》
  • LSTM 深度解析:从门控机制到实际应用
  • FPGA学习篇——Verilog学习Led灯的实现
  • 【ARDUINO】Arduino Uno 获取 OV7576 数据并通过 ESP8266 发送到 TCP 客户端(待测试)
  • xtuoj 原根
  • JVM 核心知识全解析:从类加载到垃圾回收的深度认知
  • Cesium4--地形(OSGB到3DTiles)
  • NLP:Transformer之self-attention(特别分享3)