【AI与大模型】解锁本地大模型的潜力：Ollama API 调用深度解析与实践指南

《Python OpenCV从菜鸟到高手》带你进入图像处理与计算机视觉的大门！

解锁Python编程的无限可能：《奇妙的Python》带你漫游代码世界

1. 引言

近年来，大语言模型（LLM）如 LLaMA、Gemma 等在自然语言处理领域展现出惊艳的表现。然而，由于隐私需求、数据安全或网络限制，许多开发者希望将这些模型部署在本地运行。Ollama 是一个专为本地化 LLM 设计的开源工具，它不仅简化了模型的部署，还通过 RESTful API 提供了灵活的调用方式。本文将围绕 Ollama 的 API 调用展开，结合丰富的代码示例，带你从零开始掌握这一技术。

2. Ollama 简介与安装

Ollama 是一个基于 Go 语言开发的框架，支持在 CPU 上运行大模型。它内置了多种预训练模型，并通过 HTTP API 与外界交互。安装 Ollama 非常简单，以下是步骤：

2.1 安装 Ollama

在 Linux 或 macOS 上，可以通过以下命令安装：

curl -fsSL https://ollama.com/install.sh | sh

安装完成后，启动服务：

ollama serve

默认情况下，Ollama 服务运行在 http://localhost:11434。

2.2 下载模型

Ollama 支持多种模型，例如 llama3 或 gemma。通过命令行下载模型：

ollama pull llama3

下载完成后，可以通过 API 调用这些模型。

3. Ollama API 概述

Ollama 提供了多个 API 端点，主要包括：

• 生成补全：/api/generate，用于生成给定提示的响应。
• 聊天对话：/api/chat，支持多轮对话。
• 模型管理：如 /api/pull、/api/list 等，用于管理本地模型。

本文将重点介绍前两个核心端点的调用方法，并提供丰富的代码示例。

4. API 调用详解与代码实践

4.1 生成补全（/api/generate）

生成补全是 Ollama 的核心功能之一，用于根据输入提示生成文本。请求方式为 POST，格式如下：

{
   
  "model": "llama3",
  "prompt": "你好，介绍一下你自己",
  "stream": true
}

• model：模型名称（必填）。
• prompt：输入提示。
• stream：是否启用流式响应（true/false）。

4.1.1 基本调用示例

以下是使用 Python 的 requests 库调用 /api/generate 的代码：

import requests
import json

# 定义 API 端点
url = "http://localhost:11434/api/generate"

# 请求参数
payload = {
   
    "model": "llama3",
    "prompt": "请用中文介绍一下量子计算的基本概念",
    "stream": False  # 非流式响应
}

# 发送 POST 请求
response = requests.post(url, json=payload)

# 检查响应状态
if response.status_code == 200:
    # 解析 JSON 响应
    result = response.json()
    print("模型生成结果：", result["response"])
else:
    print("请求失败，状态码：", response.status_code)

输出解释

运行后，模型将返回一个 JSON 对象，包含生成的文本。例如：

{
   
  "model": "llama3",
  "response": "量子计算是一种利用量子力学原理进行计算的新型计算范式...",
  "done": true
}

• response：生成的文本。
• done：表示生成是否完成。

4.1.2 流式响应处理

如果将 stream 设置为 true，Ollama 会以流式方式返回响应，适合实时显示生成内容。代码如下：

import requests

# 定义 API 端点
url = "http://localhost:11434/api/generate"

# 请求参数
payload =