清河做网站哪里好创业先做网站
Windows 环境安装ollama，通过ollama拉起大模型
- 背景：
- 开始：
- 1.访问ollama官方地址：https://ollama.com/
- 2.下载
- 3.安装ollama
- 4.安装完成
- 5.ollama 官网找到对应版本的大模型
- 6.下载完成后 会自动拉起大模型，进行对话并观察任务管理器的CPU、GPU性能
背景：
公司来了一台工作站，显卡是AMD的，目前跑大模型的更多的用的都是NVIDIA显卡，而且网络上开源的很多框架、工具、模型都对NVIDIA的cuda更加适配，用户强制要求使用AMD卡拉起大模型，在很多开源社区以及AMD官网找了很多资料，逐一踩坑尝试将整体流程整理了一下，仅作为个人笔记记录。
接着上篇文章【Windows 环境安装AMD显卡加速器ROCm】继续，在Windows本地安装ollama，使用ollama下来开源的大模型并在本地运行。
开始：
1.访问ollama官方地址：https://ollama.com/
2.下载
3.安装ollama
4.安装完成
5.ollama 官网找到对应版本的大模型
cmd中运行
ollama run qwen2.5:14b
模型默认下载地址：C:\Users\hpi\.ollama