当前位置: 首页 > news >正文

Ollama 框架本地部署教程:开源定制,为AI 项目打造专属解决方案!

Ollama 是一款开源的本地大语言模型(LLM)运行框架,用于管理和运行语言模型。具有以下核心特点:

  • 开源可定制:采用 MIT 开源协议,开发者能自由使用、阅读源码并定制,可根据自身需求进行功能扩展和修改。

  • 多模型支持:支持 Llama、DeepSeek-R1、Phi-4、Gemma 2 等众多语言模型,用户无需为每种模型单独搭建环境,能轻松在不同模型间切换以满足不同任务需求。

  • 易于部署:提供主流操作系统安装包,没有技术背景的用户也可轻松部署。还支持 Docker 部署,进一步简化部署流程,方便在不同环境中快速搭建。

  • 高性能:通过动态加载等技术优化资源使用,在保证高质量语言处理能力的同时,能快速响应用户请求,减少处理时间,提高运行效率。

  • 可扩展性:支持自定义模型和插件系统,可扩展文件搜索、数学计算等功能,方便用户根据具体应用场景进行功能扩展。

  • 多平台支持:支持 macOS、Windows、Linux 等操作系统,还能在 Linux 的虚拟服务器上安装,满足不同用户在不同设备和系统上的使用需求。

本镜像在 ollama 的框架上安装了 open-webui 可视化聊天框架,使操作更加便捷。除此之外,还提供了开机自启动功能。

Ollama


启动并运行大型语言模型。

macOS
下载

windocs
下载

Linux

  curl -fsSL https://ollama.com/install.sh | sh

手动安装说明

Docker
Docker Hub 上提供了官方的 Ollama Docker 镜像。ollama/ollama

Libraries
OLLAMA-Python
OLLAMA-JS
Community
Discord
Reddit
快速入门
使用OLlama 运行 Llama 3.2:

  ollama run llama3.2

模型库
Ollama 支持 ollama.com/library 上可用的模型列表

以下是一些可以下载的示例模型:
 

1739177631759_image.png

1739177709840_image.png


注意

您应该至少有 8 GB 的 RAM 来运行 7B 型号,16 GB 的 RAM 来运行 13B 的型号,32 GB 的 RAM 来运行 33B 型号。

自定义模型
从 GGUF 导入
Ollama 支持在 Modelfile 中导入 GGUF 模型:

创建一个文件,其中包含要导入的模型的本地文件路径的指令。

  
FROM ./vicuna-33b.Q4_0.gguf

在 Ollama 中创建模型

  ollama create example -f Modelfile

运行模型

  ollama run example

从 Safetensor 导入
请参阅 导入模型 以了解更多信息。

自定义提示
Ollama 库中的模型可以通过提示进行自定义。例如,要自定义模型:llama3.2

  ollama pull llama3.2

创建一个 :Modelfile

  
FROM llama3.2

# set the temperature to 1 [higher is more creative, lower is more coherent]
PARAMETER temperature 1

# set the system message
SYSTEM """
You are Mario from Super Mario Bros. Answer as Mario, the assistant, only.
"""

接下来,创建并运行模型:

  
ollama create mario -f ./Modelfile
ollama run mario
>>> hi
Hello! It's your friend Mario.

有关使用 Modelfile 的更多信息,请参阅 Modelfile 文档。

CLI Reference

创建模型
ollama create用于从 Modelfile 创建模型。

ollama create mymodel -f ./Modelfile

拉取模型

  ollama pull llama3.2

此命令还可用于更新本地模型。只会拉取 diff。

删除模型

  ollama rm llama3.2

复制模型

  ollama cp llama3.2 my-model

多行输入
对于多行输入,您可以使用 :“”"

  
>>> """Hello,
... world!
... """
I'm a basic program that prints the famous "Hello, world!" message to the console.

多模态模型

  ollama run llava "What's in this image? /Users/jmorgan/Desktop/smile.png"

输出:图像具有黄色笑脸,这可能是图片的中心焦点。

将提示作为参数传递

  ollama run llama3.2 "Summarize this file: $(cat README.md)"

输出:Ollama 是一个轻量级的可扩展框架,用于在本地计算机上构建和运行语言模型。它提供了一个用于创建、运行和管理模型的简单 API,以及一个可在各种应用程序中轻松使用的预构建模型库。

显示模型信息

  ollama show llama3.2

列出计算机上的模型

  ollama list

列出当前加载的模型

  ollama ps

停止当前正在运行的模型

  ollama stop llama3.2

启动 Ollama

  ollama serve

当您想在不运行桌面应用程序的情况下启动 OLLAMA 时使用。

查看开发人员指南

本地部署

启动Ollama服务:

  
./ollama serve

在单独的 shell 中运行一个模型:

  ./ollama run llama3.2

REST API
Ollama 有一个用于运行和管理模型的 REST API。

生成响应

  curl http://localhost:11434/api/generate -d '{
  "model": "llama3.2",
  "prompt":"Why is the sky blue?"
}'

与模型聊天

  curl http://localhost:11434/api/chat -d '{
  "model": "llama3.2",
  "messages": [
    { "role": "user", "content": "why is the sky blue?" }
  ]
}'

请参阅所有端点的 API 文档。

社区集成

Web & 桌面
Open WebUI
Enchanted (macOS native)
Hollama
其它信息请参阅GitHub

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.dtcms.com/a/51278.html

相关文章:

  • 最新的PyCharm及AI助手的安装和试用
  • H5DS编辑器是如何让企业快速构建动态页面
  • 一文读懂深度学习中的损失函数quantifying loss —— 作用、分类和示例代码
  • 权限管理Vue实现
  • CHAPTER 6 Object References, Mutability, and Recycling
  • 超越AI边界:智慧法务如何破解法律行业的“最后一公里“难题
  • ReconDreamer:通过在线恢复构建驾驶场景重建的世界模型
  • golang进阶知识专项-理解值传递
  • 记录一次Spring事务失效导致的生产问题
  • 第七节:基于Winform框架的串口助手小项目---协议解析《C#编程》
  • DeepSeek开源周:五大创新项目详解
  • 监听 RabbitMQ 延时交换机的消息数、OpenFeign 路径参数传入斜杠无法正确转义
  • Docker 部署开源项目HivisionIDPhotos详细教程
  • 【个人学习总结】反悔贪心:反悔堆+反悔自动机
  • SPL 和 SQL 能不能融合在一起?
  • 使用 marked.min.js 实现 Markdown 编辑器 —— 我的博客后台选择之旅
  • 家政保洁维修行业有没有必要做小程序?
  • 搭建一个跳板服务器的全过程
  • 数据安全VS创作自由:ChatGPT与国产AI工具隐私管理对比——论文党程序员必看的避坑指南
  • k倍区间(蓝桥杯 )
  • 基于Python的PDF特殊字体提取器开发实践
  • 3.3.2 Proteus第一个仿真图
  • ArcGIS操作:07 绘制矢量shp面
  • 服务器内存
  • 微机原理与汇编语言试题十二
  • 每日一题-哞叫题(蓝桥杯)【模拟】
  • 专业录音机的未来的市场需求点简析
  • 国内光子AI智能引擎:OptoChat AI在南京江北新区亮相
  • 网络协议:HTTP协议
  • 【大模型基础_毛玉仁】1.3 基于Transformer 的语言模型