当前位置: 首页 > news >正文

探索大语言模型(LLM):Ollama快速安装部署及使用(含Linux环境下离线安装)

前言

Ollama 是一个开源的本地化大模型运行平台,支持用户直接在个人计算机上部署、管理和交互大型语言模型(LLMs),无需依赖云端服务。而且其混合推理的特性也使得CPU和GPU的算力能够充分被使用,能够在同等配置下跑更大的模型,是非常适合个人学习使用的平台。本篇将详细介绍Ollama在各种平台上的详细安装过程以及应用。


Ollama的安装

官网地址:https://ollama.com/

在这里插入图片描述
进到官网之后点击Download然后就可以选择相应的安装包
在这里插入图片描述

在线安装

在这里插入图片描述
Windows环境下下载安装根据安装包指引下载安装即可,linux环境下执行以下命令:

curl -fsSL https://ollama.com/install.sh | sh

离线安装

在线安装受网络的影响,并不能完全解决所有的安装问题,那么就可以选择离线安装的方式安装Ollama。
离线包下载地址:https://github.com/ollama/ollama/releases
在这里插入图片描述
由于Windows可以直接在官网下载安装包并安装,本文以Linux-amd64环境下的安装为例
下载好压缩包后,新建一个文件夹名为ollama,然后解压

mkdir ./ollama
tar -zxvf ollama-linux-amd64.tgz -C ./ollama

为ollama添加执行权限

cd ./bin
chmod +x ollama

添加环境变量
在 .bashrc 文件结尾写入ollama/bin文件路径

vi ~/.bashrc

然后在下面添加以下内容(假设压缩包下载的路径为/home/data,读者应该根据自己实际路径调整)

export PATH=$PATH:/home/data/ollama/bin

更新环境变量

source ~/.bashrc

修改Ollama模型保存路径

这一步还是很有必要的,能够方便管理模型,尤其是在windows系统中,如果不做相关的设置,会默认下载到C盘

Windows环境修改保存路径

在这里插入图片描述
在这里插入图片描述
然后点击环境变量
在这里插入图片描述
这里选任意一个就行
变量名为OLLAMA_MODELS
在这里插入图片描述

Linux环境修改保存路径

Linux环境更为简单,直接打开bashrc添加环境变量即可

vi ~/.bashrc

然后添加

export OLLAMA_MODELS=你想设置的路径

保存并退出后

source ~/.bashrc

然后可以使用以下命令启动ollama

ollama start

模型下载

在线下载

ollama官网: https://ollama.com/
打开官网直接搜索需要的模型,本文以qwen3为例
在这里插入图片描述
在这里插入图片描述
然后点击适合自己设备的模型(基本上size比自己的显存小一点就合适)
在这里插入图片描述
然后复制命令到命令行
在这里插入图片描述
随后ollama会自动下载并运行该模型

手动下载

手动下载的方式参照玩转大语言模型——ollama导入huggingface下载的模型,这里不再赘述


文章转载自:

http://509LUeFh.cbmqq.cn
http://PE32iqTy.cbmqq.cn
http://iRu63PlL.cbmqq.cn
http://RxtMaC0O.cbmqq.cn
http://qGyoECFA.cbmqq.cn
http://2Q5sX7Gg.cbmqq.cn
http://d23FrqDO.cbmqq.cn
http://jTOx6U8s.cbmqq.cn
http://kljj0g8M.cbmqq.cn
http://slJ6PTPJ.cbmqq.cn
http://8tInON7C.cbmqq.cn
http://Bm0BNytR.cbmqq.cn
http://GpqfOoXf.cbmqq.cn
http://rcY0ojHJ.cbmqq.cn
http://R2Ion7YX.cbmqq.cn
http://kF88K3Dg.cbmqq.cn
http://fy501L5t.cbmqq.cn
http://S4NcTmmY.cbmqq.cn
http://YAlYjseZ.cbmqq.cn
http://jBFcUeD3.cbmqq.cn
http://B55LZi4k.cbmqq.cn
http://Rhha4hU3.cbmqq.cn
http://70HVxJIB.cbmqq.cn
http://a57hR0Jd.cbmqq.cn
http://e7G1VuSH.cbmqq.cn
http://gdlvRwEH.cbmqq.cn
http://m1BO3TXp.cbmqq.cn
http://UPK2RG2s.cbmqq.cn
http://0GwoxcEM.cbmqq.cn
http://r8aqQx5f.cbmqq.cn
http://www.dtcms.com/a/379154.html

相关文章:

  • 安卓13_ROM修改定制化-----打开摄像头调用相机功能 实现无人直播
  • 嵌入式 - ARM5
  • 如何打造自主安全的下一代域名系统
  • 前端开发工具有哪些?常用前端开发工具、前端调试工具、前端构建工具与效率提升工具对比与最佳实践
  • 机器学习1.Anaconda安装+环境配置
  • GrapeCity Documents V8.0 Update2 重磅发布:性能飞跃、AI 赋能与文档处理全流程升级
  • 【软考架构-案例分析】质量属性场景描述6要素
  • IBMS智能化集成系统:构建建筑全场景协同管控中枢
  • 【高级】系统架构师 | 2025年上半年综合真题DAY4
  • 系统接口故障排查
  • MyBatis框架(编写代码部分1)
  • mes之工序管理
  • P4053 [JSOI2007] 建筑抢修
  • Unity Embedded Browser文档翻译
  • 阻容感专题学习笔记
  • ARM指令集(Instruction Set)细节
  • 28.线程互斥与同步(二)
  • 批量修改图片尺寸大小的免费工具
  • 【vscode】如何离线下载vsxi插件,且在无网环境下离线安装插件-2026最新实验教程
  • 基于浏览器运行的本地大模型语音助手
  • 动态热机械分析测试(DMA):解析材料的粘弹性能
  • 【龙智Atlassian插件】Confluence周报插件上线AI智能总结,一键生成专业报告
  • 因表并行引发的血案【故障处理案例】
  • 实现双向循环链表
  • Flutter Riverpod 3.0 发布,大规模重构下的全新状态管理框架
  • This is Game
  • Git分支管理:从创建到合并冲突解决(二)
  • Elasticsearch 7.15 存储类型详解
  • 深入解析数据结构之栈及其应用
  • (一)昇腾AI处理器技术