【Windows 环境安装ollama,通过ollama拉起大模型】
Windows 环境安装ollama,通过ollama拉起大模型
- 背景:
- 开始:
- 1.访问ollama官方地址:https://ollama.com/
- 2.下载
- 3.安装ollama
- 4.安装完成
- 5.ollama 官网找到对应版本的大模型
- 6.下载完成后 会自动拉起大模型,进行对话并观察任务管理器的CPU、GPU性能
背景:
公司来了一台工作站,显卡是AMD的,目前跑大模型的更多的用的都是NVIDIA显卡,而且网络上开源的很多框架、工具、模型都对NVIDIA的cuda更加适配,用户强制要求使用AMD卡拉起大模型,在很多开源社区以及AMD官网找了很多资料,逐一踩坑尝试将整体流程整理了一下,仅作为个人笔记记录。
接着上篇文章【Windows 环境安装AMD显卡加速器ROCm】继续,在Windows本地安装ollama,使用ollama下来开源的大模型并在本地运行。
开始:
1.访问ollama官方地址:https://ollama.com/
2.下载
3.安装ollama
4.安装完成
5.ollama 官网找到对应版本的大模型
cmd中运行
ollama run qwen2.5:14b
模型默认下载地址:C:\Users\hpi\.ollama