部署本地大模型 Ollama + LLaMA3

在 macOS 上本地部署 Ollama + LLaMA3 非常简单，以下是完整步骤：

一、系统要求
1.macOS 12+
2.芯片支持 Intel 或 Apple Silicon（M1/M2/M3）
3.建议内存至少 8GB，推荐 16GB+

二、安装 Ollama（官方推荐）
方式一：使用命令行安装（推荐）

curl -fsSL https://ollama.com/install.sh | sh

方式二：使用 GUI 安装（点击安装包）
访问官网：https://ollama.com
下载 .dmg 安装包并安装

三、安装后验证

ollama --version

如果安装成功，应该返回 Ollama 的版本信息。

四、下载并运行 LLaMA3 模型

1. 下载模型（例如 LLaMA 3 8B）

ollama pull llama3

2. 启动模型进行聊天：

ollama run llama3

五、以 API 服务方式运行（推荐）

 ollama serve

默认监听地址是： http://localhost:11434

六、使用 Python 调用本地模型

import requestsdef get_completion_ollama(prompt: str, model: str = "llama3"):url = "http://localhost:11434/api/chat"headers = {"Content-Type": "application/json"}data = {"model": model,"messages": [{"role": "user", "content": prompt}],"stream": False  # 如果想逐字流式输出，改为 True}response = requests.post(url, headers=headers, json=data)result = response.json()return result["message"]["content"]if __name__ == "__main__":prompt = "你好，能不能介绍一下你自己？"result = get_completion_ollama(prompt)print("LLaMA3 回复：", result)print(res.json()["response"])

七、常用命令

# 查看当前模型列表
ollama list# 删除模型
ollama rm llama3# 更新 ollama
ollama update