如何做自己的网站链接中铁建设集团有限公司

ollama

参考文档

ollama
官方文档
GitHub仓库

基础环境：

NVIDIA 1660TI 6G

下载

ollma是一款开源工具，支持在本地计算机（无需联网）快速部署和运行大型语言模型（LLM），如 LLaMA、Mistral、Gemma 等。

直接在ollama页面根据自己的操作系统下载即可。

不过这里要提到的是，ollama一般都是个人验证使用，企业一般使用VLLM。

安装

ollma默认是安装到本地的C:\Users\用户名\AppData\Local\Programs下的，对于C盘容量较小的用户非常不友好，推荐使用下面的方式，更改ollma的安装路径。

使用管理员模式启动PowerShell，在命令行中访问ollama安装包所在的文件路径：

.\OllamaSetup.exe /DIR=D:\work\ollama\install
# /DIR=指向你想要的安装位置

这样ollama的安装路径，就修改了我们指定的位置

环境变量

这里需要提前设置一些环境变量，方便后面我们管理模型和使用ollama。ollama默认的下载地址为C:\Users\用户名.ollama

OLLAMA_MODELS:D:\work\ollma\OllamaCache  改变模型的存储路径。

在设置环境变量后，需要对电脑进行重启，或者重启ollama，不然配置不会生效。

下载并运行模型

在ollama官方文档中，我们可以看到ollama是支持deepseek满血版及更多的蒸馏模型的，这里因为我的笔记本显存有限，所以先选择了deepseek-r1:1.5b。

ollama run deepseek-r1:1.5b

执行命令后会自动拉取大模型的文件，我们就可以在命令行中和模型进行对话了。

qwen:4b模型运行：

ollama run qwen3:4b