当前位置: 首页 > news >正文

Ollama 开发指南

文章来源:开发指南 - Ollama中文文档|Ollama官方文档 

安装先决条件:

  • GO
  • C/C++ 编译器,例如 macOS 上的 Clang、TDM-GCC (Windows amd64) 或 llvm-mingw (Windows arm64)、Linux 上的 GCC/Clang。

然后从仓库的根目录构建并运行 Ollama:

go run . serve

macOS (Apple Silicon)

macOS Apple Silicon 支持内置于 Ollama 二进制文件中的 Metal。无需执行其他步骤。

macOS (英特尔)

安装先决条件:

  • CMake 或brew install cmake

然后,配置并构建项目:

cmake -B build
cmake --build build

最后,运行 Ollama:

go run . serve

Windows

安装先决条件:

  • CMake
  • Visual Studio 2022 包括本机桌面工作负载
  • (可选)AMD GPU 支持
    • ROCm
    • 忍者
  • (可选)NVIDIA GPU 支持
    • CUDA 开发工具包

[!重要] 在运行 CMake 之前,请确保满足先决条件。PATH

[!重要] ROCm 与 Visual Studio CMake 生成器不兼容。在配置项目时使用。-GNinja

[!重要] CUDA 仅与 Visual Studio CMake 生成器兼容。

然后,配置并构建项目:

cmake -B build
cmake --build build --config Release

最后,运行 Ollama:

go run . serve

Windows (ARM)

Windows ARM 目前不支持其他加速库。

Linux

安装先决条件:

  • CMake 或sudo apt install cmakesudo dnf install cmake
  • (可选)AMD GPU 支持
    • ROCm
  • (可选)NVIDIA GPU 支持
    • CUDA 开发工具包

[!重要] 在运行 CMake 之前,请确保满足先决条件。PATH

然后,配置并构建项目:

cmake -B build
cmake --build build

最后,运行 Ollama:

go run . serve

docker

docker build .

ROCm

docker build --build-arg FLAVOR=rocm .

运行测试

要运行测试,请使用 :go test

go test ./...

文库检测

Ollama 在以下路径中查找相对于可执行文件的加速库:ollama

  • ./lib/ollama(Windows)
  • ../lib/ollama(Linux)
  • .(macOS)
  • build/lib/ollama(用于开发)

如果未找到这些库,Ollama 将不会与任何加速库一起运行。

文章来源:开发指南 - Ollama中文文档|Ollama官方文档

相关文章:

  • 应用层协议 HTTP 讲解实战:从0实现HTTP 服务器
  • Ubuntu 下 nginx-1.24.0 源码分析 - ngx_time_update函数
  • NAC网络接入控制三种认证方式802.1X认证、MAC认证和Portal认证
  • Python 文本探秘:正则表达式的易错迷宫穿越 -- 7. 正则表达式
  • 模糊聚类分析方法:从模糊等价矩阵到动态分类
  • 笔记: 利用二极管、三极管、MOS管搭建过压保护电路
  • vitePress实现原理(三)
  • 使用 Logback 的最佳实践:`logback.xml` 与 `logback-spring.xml` 的区别与用法
  • DIN:引入注意力机制的深度学习推荐系统,
  • Golang官方编程指南
  • 从安装软件到flask框架搭建可视化大屏(一)——创建一个flask页面,零基础也可以学会
  • Linux从0到1——线程池【利用日志Debug】
  • Elasticsearch:将 Ollama 与推理 API 结合使用
  • 【第11章:生成式AI与创意应用—11.3 AI艺术创作的实现与案例分析:DeepArt、GANBreeder等】
  • Leetcode 2466. Count Ways To Build Good Strings
  • 【Day41 LeetCode】单调栈问题
  • 什么是中间件中间件有哪些
  • 可解释性:走向透明与可信的人工智能
  • 浅谈线程安全问题的原因和解决方案
  • langchain学习笔记之消息存储在内存中的实现方法
  • 五一假期上海口岸出入境客流总量预计达59.4万人,同比增约30%
  • 体坛联播|欧冠巴萨3比3战平国米,柯洁未进入国家集训队
  • 上海国际咖啡文化节开幕,北外滩集结了超350个展位
  • 当老年人加入“行为艺术基础班”
  • 上海市十六届人大常委会第二十一次会议表决通过有关人事任免事项
  • 广西干旱程度有所缓解,未来一周旱情偏重地区降水量仍不足